数仓必会：Sqoop常用命令(全量/增量/全库同步)

官方文档：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

还有很多其他参数如：分隔符，文件格式，编码等参数在下面没有具体列举出来，可根据实际需要按需配置。

查看RDBMS的所有库

# MySQL:   jdbc:mysql://HOST:PORT
sqoop-list-databases --connect jdbc:mysql://127.0.0.1:3306 --username u_wyk --password p_wyk

# Oracle:  jdbc:oracle:thin:@HOST:PORT:SID
sqoop-list-databases --connect jdbc:oracle:thin:@127.0.0.1:1521:csdn --username u_wyk --password p_wyk

查看RDBMS指定库下的所有表

# MySQL:  jdbc:mysql://HOST:PORT/DB
sqoop-list-tables --connect jdbc:mysql://127.0.0.1:3306/csdn --username u_wyk --password p_wyk

# Oracle: jdbc:oracle:thin:@HOST:PORT:SID
sqoop-list-tables --connect jdbc:oracle:thin:@127.0.0.1:1521:csdn --username u_wyk --password p_wyk

测试RDBMS连通性

控制台显示结果

sqoop eval --connect "jdbc:mysql://127.0.0.1:3306/csdn?zeroDateTimeBehavior=CONVERT_TO_NULL" --query "select *  from t_test limit 1" --username u_wyk --password p_wyk

替换空值和空字符串

# 字符串null值和非字符串null值都转为NULL
# 使用--null-string和--null-non-string指定'\\N'
sqoop ...
--null-string
'\\N'
--null-non-string
'\\N'

# 同时在hive中指定空值格式为'\\N'
alter table t