【Sqoop】使用指南

【Sqoop】使用指南

1. 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2. 解压tar -zxcf 压缩包地址 -C 解压地址
3. 修改配置文件：把conf目录下的sqoop-env-template.sh重命名为sqoop-env.sh，mv sqoop-env-template.sh sqoop-env.sh
4. 在sqoop-env.sh修改配置信息，具体的路径根据自己情况修改。

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

5. 基本使用：导入数据到HDFS

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/gmall \
--username root \
--password root \
--table user_info \
--columns id,login_name \
--where "id >= 10 and id <= 30" \
--target-dir /test \
--delete-target-dir \
--num-mappers 2 \
--fields-terminated-by '\t' \
--split-by id

--connect 连接地址
--username 用户名
--password 密码
--table 从哪个表导入
--columns 导入哪些列
--where 过滤条件
--target-dir 导入目的地
--delete-target-dir 导入失败后，删除刚刚未完成的导入数据，方便再次导入
--num-mappers mapper任务数量
--fields-terminated-by 分隔符
--split-by 分区键
--query 执行sql，query语句中，必须在where后面加上$CONDITIONS
--compress 是否压缩
--compress-codec 压缩方式（lzo、lzop等）
--null-string 空字符串用什么代替
--null-non-string  空的非空字符串用什么代替