sqoop merge

最新推荐文章于 2023-06-06 10:58:31 发布

liygcoding

最新推荐文章于 2023-06-06 10:58:31 发布

阅读量999

点赞数

分类专栏：大数据文章标签： sqoop merger NoSuchElementExcepti Cant parse input dat codegen

本文链接：https://blog.csdn.net/wumiqing1/article/details/54139765

版权

大数据专栏收录该内容

34 篇文章 1 订阅

订阅专栏

1）生成jar包：

sqoop codegen --connect jdbc:oracle:thin:@ip:1521:orcl --username TJAMIS_LXF --password *****--table T03_POLICYPERDAY_TEST

2）导入数据:

sqoop import --connect jdbc:oracle:thin:@ip:orcl --username tjamis_lxf --password ******--table T03_POLICYPERDAY_TEST --verbose -m 1 --hive-import --hive-table TJAMIS_LXF.T03_POLICYPERDAY_TEST --split-by T00STATDATE --hive-overwrite -z --create-hive-table --hive-drop-import-delims --fields-terminated-by ","
sqoop import --connect jdbc:oracle:thin:@ip:orcl --username tjamis_lxf --password ******--table T03_POLICYPERDAY_TEST_NEW --verbose -m 1 --hive-import --hive-table TJAMIS_LXF.T03_POLICYPERDAY_TEST_NEW --split-by T00STATDATE --hive-overwrite -z --create-hive-table --hive-drop-import-delims --fields-terminated-by ","

注意：导入数据需要加上： --fields-terminated-by ","

否则报错：

3）sqoop merge --new-data /user/hive/warehouse/tjamis_lxf.db/t03_policyperday_test_new --onto /user/hive/warehouse/tjamis_lxf.db/t03_policyperday_test --target-dir /user/root/t03_policyperday_merge --jar-file T03_POLICYPERDAY_TEST.jar --class-name T03_POLICYPERDAY_TEST --merge-key PID

说明：T03_POLICYPERDAY_TEST.jar是第一步1）生成的jar文件

--target-dir 是merge后产生的结果目录！！！

--new-data 和--onto 分别是第二步2）导入的增量数据和全量数据！！！

--merge-key 是合并主键！