sqoop基本操作

导入数据

1. 导入到HDFS

// \代表在shell窗口中换行
bin/sqoop import \
// 连接的url
--connect jdbc:mysql://hadoop102:3306/mydb \
// 用户名
--username root \
// 密码
--password 123456 \
// 要导哪个表的数据
--table staff \
// 将数据导入到hdfs的哪个路径
--target-dir /company \
// 如果目标目录存在就删除
--delete-target-dir \
// 导入到hdfs上时，mysql中的字段使用\t作为分隔符
--fields-terminated-by "\t" \
// 设置几个MapTask来运行
--num-mappers 2 \
// 基于ID列，将数据切分为2片，只有在--num-mappers>1时才需要指定,选的列最好不要有null值，否则null
// 是无法被导入的！尽量选取主键列，数字列
--split-by id
// 只导入id和name 列
--columns id,name \
// 只导入复合过滤条件的行
--where 'id >= 10 and id <= 20' \
// 执行查询的SQL，讲查询的数据进行导入，如果使用了--query,不加再用--table,--where,--columns
// 只要使用--query ，必须添加$CONDITONS,这个条件会被Sqoop自动替换为一些表达式
--query "SQL"

案例：

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--query "select * from t_emp where \$CONDITIONS and id >=2" \
--target-dir /t_emp \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 2 \
--split-by id

2.导入到Hive
Sqoop导入到hive，先讲数据导入到HDFS，再讲HDFS的数据，load到hive表中！

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
//导入到hive
--hive-import \
//导入到hive表中字段的分隔符
--fields-terminated-by "\t" \
// 是否以insert overwrite方式覆盖导入数据
--hive-overwrite \
// 要导入的hive表的名称，会自动帮助我们建表。建议还是在hive中手动建表，需要注意和mysql表的数据类型匹配
--hive-table staff_hive

案例：

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table t_emp

3.导入到hbase
目前使用的sqoop1.4.6对应的是低版本的hbase,目前的1.3.0的hbase版本有点高！
在执行导入时，sqoop是可以帮我们自动建表，在使用1.3.0hbase时，建表会失败！
建议手动建表！

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
//如果表不存在，hbase自动建表
--hbase-create-table \
// 导入的表名
--hbase-table "t_emp" \
// mysql的哪一列作为rowkey
--hbase-row-key "id" \
//导入的列族名
--column-family "info" \
--num-mappers 1 \
--split-by id	

导出数据

一、Sqoop导出

bin/sqoop export
–connect jdbc:mysql://hadoop102:3306/company
–username root
–password 123456
//要导出的mysql的表名
–table staff2
–num-mappers 1
//导出的数据在hdfs上的路径
–export-dir /company
// 导出时，基于哪一列判断数据重复
–update-key
// 导出的数据的分隔符
–input-fields-terminated-by “\t”

---

bin/sqoop export \
--connect 'jdbc:mysql://hadoop102:3306/mydb?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password 123456 \
--table t_emp2 \
--num-mappers 1 \
--export-dir /t_emp \
--update-key id \
--update-mode  allowinsert \
--input-fields-terminated-by "\t"

在mysql中，执行插入时，如果对于某些唯一列，出现了重复的数据，那么会报错Duplicate Key！
此时，对于重复的列，如果希望指定更新其他列的操作，那么可以使用以下写法：
INSERT INTO t_emp2 VALUE(6,‘jack’,30,3,100001) ON DUPLICATE KEY UPDATE
NAME=VALUES(NAME),age=VALUES(age),deptid=VALUES(deptid),empno=VALUES(empno);

在执行export导出时，默认的导出语句适用于向一个新的空表导数据的场景！每一行要导出的记录，都会
转换为Insert语句执行查询，此时如果说触犯了表的某些约束，例如主键唯一约束，此时Insert失败，
Job失败！

如果要导入的表已经有数据了，此时可以指定–update-key参数，通过此参数，可以讲导入的数据，使用
updata语句进行导入，此时，只会更新重复的数据，不重复的数据是无法导入的！

如果希望遇到重复的数据，就更新，不重复的数据就新增导入，可以使用–update-key，结合
–update-mode(默认为updateonly)=allowinsert。

sql的命令编写在脚本中，参数名和参数值之间，需要换行！