1.在增量导出模式下如何选择 update-key
在增量导出模式下,无论是allowinsert模式还是updateonly模式,都需要设置update-key:
• allowinsert模式:该模式下生成的是insert语句,从这个角度讲update-key是没有作用的,但是在CDH Sandbox上测试时发现,如果不指定update-key则会导致reduce执行失败。
• updateonly模式:该模式下生成的是update语句,update-key中指定的字段用于构成update语句中的where字句,因此是必须的,同时也可以看出选择的update-key字段必须是未被更新的字段,这样才能确定一条记录导出前后是否一致,而如果将update-key设置为被更新过的字段,则在目标表中通过where条件筛选不到匹配的记录,从而造成数据无法被更新。此外,如果update-key中指定了所有字段,也会报错。
假设如下为抽取到MySQL中的数据,假设Hive中的源数据被更新,如name列不一致,则可以指定update-key为id;若是id被更新了,则可以指定update-key为name(此时再指定id是无法更新数据的)
2.Sqoop导入导出Null存储一致性问题
Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。
3.Sqoop数据导出一致性问题