sqoop抽取数据从oracle到hive的示例以及一些问题的解决方法

这篇博客介绍了如何使用Sqoop从Oracle数据库导入数据到Hive表中,包括设置允许文本切分器参数、处理换行符问题、指定字段分隔符、空值表示以及覆盖Hive表等关键步骤,确保数据迁移过程的正确性和效率。
摘要由CSDN通过智能技术生成
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:oracle:thin:@10.253.253.111:1521/testdb \
--username nc65test8 \
--password nc65test8 \
--table FA_USINGSTATUS \
--hive-import \
--hive-table ods.fa_usingstatus \
--delete-target-dir \
--as-textfile \
--hive-drop-import-delims \
--fields-terminated-by '\001' \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-overwrite \
--m 1

-Dorg.apache.sqoop.splitter.allow_text_splitter=true 切分键不为数字时需要加这个参数

–hive-drop-import-delims 字段中有’\n’时需要加这个参数,不然在hdfs文件映射为hive表时’\n’会被当做换行符,导致数据出问题.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值