sqoop动态分区导入mysql,sqoop支持通过蜂巢进行动态分区吗?

这篇博客探讨了如何使用sqoop配合Hive进行动态分区导入。作者尝试使用--hive-partition-key和--hive-partition-value选项,但发现它们仅适用于静态分区。解决方案提到需要sqoop 1.4.4及以上版本,并通过hcatalog来实现动态分区导入。内容中还包含了SQL查询示例和命令行参数。
摘要由CSDN通过智能技术生成

does sqoop support dynamic partitioning with hive?

i tried using below-mentioned options :

--hive-partition-key and --hive=partition-vlaue is only for static partitioning

for eg:

sqoop import

--connect "jdbc:mysql://quickstart.cloudera:3306/prac"

--username root --password cloudera

--hive-import

--query "select id,name,ts from student where city='Mumbai' and \$CONDITIONS "

--hive-partition-key city

--hive-partition-value 'Mumbai'

--hive-table prac.student

--target-dir /user/mangesh/sqoop_import/student_temp5

--split-by id

解决方案

You can use hcatalog imports - you need sqoop 1.4.4 to do this.

sqoop import \

--connect "jdbc:oracle:SERVERDETAILS" \

--username \

--password \

--table \

--fields-terminated-by ',' \

--split-by \

--hcatalog-database

--hcatalog-table

For more details please go through

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值