sqoop导入的一些问题

sqoop导入的一些问题

以下为sqoop语句有问题，一定注意语句后的 \ 。 \前要空格，\后不要空格

--null-non-string 0 \
--null-string '123' \

原数据如果为null的话，会被替换‘成 ’的内容

版本1.4.7这种模式使用lastmodifyed 可以使用merge-key覆盖。（路径为hive表路径）

因为1.4.7不支持lastmodifyed和hive -import连用（1.4.6可以，但是不支持append和hive-import），所以我直接导入到hive表路径下

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental lastmodified \
--check-column trade_time \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

这种模式merge-key等于无用

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental append \
--check-column user_id \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

3’
–merge-key user_id
–split-by user_id