Sqoop解决串行

最新推荐文章于 2024-08-16 21:15:52 发布

db_guy

最新推荐文章于 2024-08-16 21:15:52 发布

阅读量1k

点赞数

分类专栏：商业智能-ETL 文章标签： mysql jdbc sqoop

本文链接：https://blog.csdn.net/db_guy/article/details/78259101

版权

商业智能-ETL 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

解决办法：
使用–hive-drop-import-delims ，去掉数据中\n,\r和\01这样的默认分割符。所以对目标表来说最好使用默认的分割方式，而不指定–fields-terminated-by和–lines-terminated-by 参数。

sqoop import  \
--connect "jdbc:mysql://quickstart.cloudera:3306/devdb?useUnicode=true&characterEncoding=UTF-8" \
--username devuser \
--password devuser \
--table  sqp_test \
--null-string '\\N'   \
--null-non-string '\\N'   \
--hive-drop-import-delims \
--split-by id \
--num-mappers 1 \
--hive-import \
--hive-overwrite \
--hive-database default \
--hive-table sqp_test_txt