sqoop
qzWsong
这个作者很懒,什么都没留下…
展开
-
sqoop事务如何实现
场景1:如Sqoop在导出hdfs数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?场景2:如Sqoop在导出hdfs数据到Mysql时,某个字段重复导致主键冲突,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?原创 2024-01-17 15:45:10 · 545 阅读 · 0 评论 -
sqoop批量建表脚本
sqoop create-hive-table 支持只迁移建表语句,但是不支持批量创建,因此写了一个脚本去执行。原创 2022-10-13 14:20:51 · 309 阅读 · 0 评论 -
sqoop 根据id append 动态计算id 脚本
#!/bin/bash######################################################### ## @author hunter@doitedu ## @date ${DT_INCR} ## @desc oms.原创 2021-04-09 12:37:09 · 149 阅读 · 0 评论 -
sqoop 操作
###################################### @Part_0 : sqoop安装#####################################vi sqoop-env.sh#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/opt/apps/hadoop-3.1.1#Set path to where hadoop-*-core.jar is avail.原创 2021-03-21 21:30:55 · 167 阅读 · 0 评论 -
sqoop hdfs-->mysql
// 指定分割符,默认是,--input-fields-terminatied-by ':' \更新模式--update-model updateonly # 根据key更新数据,只更新不插入(新导入的数据不处理)--update-model allowinsert #根据key更新数据,也更新也插入--update-key...原创 2021-02-28 18:06:46 · 76 阅读 · 0 评论 -
sqoop命令大全和踩坑大全
目录Import(Mysql到Hive/hdfs)参数解释------------dbms相关--------------connect✳✳--table --where--columns--query✳--m--split-by id✳✳------------hdfs相关--------------as-textfile--compress--compression-codec gzip--null-non-string✳✳--null-string✳✳--fields-terminated-by✳--原创 2021-02-28 16:10:25 · 1124 阅读 · 1 评论 -
sqoop mysql->hdfs增量导出
增量导入有两种1、--incremental append,根据check-column 和last-value 来更新,这样只是append,也就是说只会同步之前没有的,但是之前的数据如果发生变化是不会更新的。2、--incremental lastmodified,根据check-column 和last-value 来更新,这样不止append还会修改原来的数据,需要配--merge-key 根据指定字段 将原来数据更新掉...原创 2021-02-28 16:06:44 · 156 阅读 · 0 评论 -
sqoop mysql导入hdfs 需要注意的点
1、可有可无的配置2、sqoop导入需要指定一个字段为分割字段,select max(id),min(id) from test 然后根据指定的并行度(默认是4)进行分割,如果这个字段不是数字类型需要加上一句话3、mysql中null值的处理,如果mysql中是null,在导入到hdfs的时候,sqoop会把null值字段,变成null字符串导入,这样会有问题,比如我把这些数据再导入到hive,那么hive就会把null字符串,真的导成null字符了,原来mysql的null值列,在h.原创 2021-02-27 22:51:58 · 371 阅读 · 0 评论