记录一次sqoop同步数据到分区表问题
先描述hive动态分区和静态分区
静态分区 SP(static partition)
1、静态分区是在编译期间指定的指定分区名
2、支持load和insert两种插入方式
2.1load方式
1)会将分区字段的值全部修改为指定的内容
2)一般是确定该分区内容是一致的时候才会使用
2.2insert方式
1)必须先将数据放在一个没有设置分区的普通表中
2)该方式可以在一个分区内存储一个范围的内容
3)从普通表中选出的字段不能包含分区字段
3、适用于分区数少,分区名可以明确的数据
动态分区 DP(dynamic partition)
1、根据分区字段的实际值,动态进行分区
2、是在sql执行的时候进行分区
3、需要先将动态分区设置打开(set hive.exec.dynamic.partition.mode=nonstrict )
4、只能用insert方式
5、通过普通表选出的字段包含分区字段,分区字段放置在最后,多个分区字段按照分区顺序放置
问题描述
本次测试需将oracle中表的数据取业务时间同步到hive分区表中,最开始考虑的是在hive中建好分区表,后直接通过Sqoop导入数据到hive分区表中;在实际导入过程中会报一个Warn,数据导入不成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bChUyPMk-1666598984670)(
image-20221024154426777.png)]
后改为不建表,由Sqoop直接建表的方式导入hive表的分区,可行。
导入脚本为
sqoop import \
--connect jdbc:oracle:thin:@//XXX/XXX \
--username XXXX --password XXXX \
--query "select col1,col2
from XXX.XXX
where date = '2022-10-22'
and \$CONDITIONS" \
--delete-target-dir \
--target-dir /tmp/XXX \
--hive-import \
--hive-table XXX \
--hive-overwrite \
--hive-drop-import-delims \
--null-string '\\N' \
--null-non-string '\\N' \
--fields-terminated-by ',' \
--as-parquetfile \
--hive-partition-key ds \
--hive-partition-value 2022-10-22 \
-m 1
解决
导入脚本添加不添加–hive-overwirite参数时,仍然会报上图的错误;添加参数之后能正常导入。