sqoop merge

1)生成jar包:

sqoop codegen --connect jdbc:oracle:thin:@ip:1521:orcl --username TJAMIS_LXF --password *****--table T03_POLICYPERDAY_TEST

2)导入数据:

sqoop import --connect jdbc:oracle:thin:@ip:orcl --username tjamis_lxf --password ******--table T03_POLICYPERDAY_TEST --verbose -m 1   --hive-import --hive-table TJAMIS_LXF.T03_POLICYPERDAY_TEST --split-by T00STATDATE  --hive-overwrite -z --create-hive-table --hive-drop-import-delims --fields-terminated-by ","
sqoop import --connect jdbc:oracle:thin:@ip:orcl --username tjamis_lxf --password ******--table T03_POLICYPERDAY_TEST_NEW --verbose -m 1   --hive-import --hive-table TJAMIS_LXF.T03_POLICYPERDAY_TEST_NEW --split-by T00STATDATE  --hive-overwrite -z --create-hive-table --hive-drop-import-delims --fields-terminated-by ","

注意:导入数据需要加上: --fields-terminated-by ","

否则报错:



3)sqoop merge --new-data /user/hive/warehouse/tjamis_lxf.db/t03_policyperday_test_new --onto /user/hive/warehouse/tjamis_lxf.db/t03_policyperday_test --target-dir /user/root/t03_policyperday_merge --jar-file T03_POLICYPERDAY_TEST.jar --class-name T03_POLICYPERDAY_TEST --merge-key PID 

说明:T03_POLICYPERDAY_TEST.jar是第一步1)生成的jar文件

--target-dir 是merge后产生的结果目录!!!

--new-data 和--onto 分别是第二步2)导入的增量数据和全量数据!!!

--merge-key 是合并主键!




  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值