一、Sqoop的简介
SQL To Hadoop,目的是完成关系型数据库导入导出到Hadoop!
Sqoop的原理是将命令翻译为MR执行,MR没有Reduce阶段,只有Map阶段!
二、Sqoop的安装
1.环境配置
可以在/etc/profile中配置,导出为全局变量
或者sqoop-env.sh
配置HADOOP_HOME,HIVE_HOME,HBASE_HOME,ZOOKEEPER_HOME
2.将连接mysql的驱动,拷贝到Sqoop的lib目录
3.测试
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password root
三、import
1.import从RDMS将数据迁移到HDFS
2.导入到HDFS
// \代表在shell窗口中换行
bin/sqoop import \
//连接的url
--connect jdbc:mysql://master:3306/mydb \
//用户名
--username root \
// 密码
--password root
//要导哪个数据表的数据
--table staff \
//将数据导入到hdfs的哪个路径
--target-dir /company \
//如果目标目录存在就删除
--delete-target-dir \
//导入到hdfs上时,mysql中的字段使用\t作为分隔符
--fields-terminated-by "\t" /
//设置几个MapTask来运行
--num--mappers 2 \
// 基于ID列,将数据切分为2片,只有在--num-mappers>1时才需要指定,选的列最好不要有null值,否则null
// 是无法被导入的!尽量选取主键列,数字列
--split-by id
//只导入id和name列
--column id,name \
//只导入符合过滤条件的行
--where 'id>=10 and id<=20' \
//执行查询的SQL,将查询的数据进行导入,如果使用了--query,不再加用--table,--where,--columns
//只使用--query,必须添加¥CONDITIONS,这个条件会被Sqoop自动替换成一些表达式
--query "SQL"
bin/sqoop import \
-connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
--target-dir /t_emp \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 2 \
--split-by id \
--columns age,name \
--where 'id >= 5 and id <= 10'
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--query "select * from t_emp where \$CONDITIONS and id >=2" \
--target-dir /t_emp \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 2 \
--split-by id
3.导入到Hive
Sqoop导入到hive,先将数据导入到HDFS,再将HDFS的数据,load到hive表中!
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
//导入到hive
--hive-import \
//导入到hive表中字段的分隔符
--fields-terminated-by "\t" \
// 是否以insert overwrite方式覆盖导入数据
--hive-overwrite \
// 要导入的hive表的名称,会自动帮助我们建表。建议还是在hive中手动建表,需要注意和mysql表的数据类型匹配
--hive-table staff_hive
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table t_emp
4.导入到hbase
目前使用的sqoop1.4.6对应的是低版本的hbase,目前的1.3.0的hbase版本有点高!
在执行导入时,sqoop是可以帮我们自动建表,在使用1.3.0hbase时,建表会失败!
建议手动建表!
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
//如果表不存在,hbase自动建表
--hbase-create-table \
// 导入的表名
--hbase-table "t_emp" \
// mysql的哪一列作为rowkey
--hbase-row-key "id" \
//导入的列族名
--column-family "info" \
--num-mappers 1 \
--split-by id
四、Sqoop的导出
bin/sqoop export
– connect jdbc:mysql://master:3306/company
–username root
–password 123456
//要导出的mysql的表名
–table staff2
–num -mappers 1
//导出的数据在hdfs上的路径
–export-dir /company
//导出时,基于哪一列判断数据重复
–update-key
//导出的数据的分隔符
–input-fields-terminated-by “\t”
bin/sqoop export
–connect ‘jdbc:mysql://master:3306/mydb?useUnicode=true&characterEncoding=utf-8’
–username root
–password root
–table t_emp2
–num-mappers 1
–export-dir /t_emp
–update-key id
–update-mode allowinsert
–input-fields-terminated-by “\t”
在mysql中,执行插入操作时,如果对于某些唯一列,出现了重复的数据,那么会报错Duplicate Key!
此时,对于重复的列,如果希望指定更新其他列的操作,那么可以使用一些写法:
insert into t_emp2 value(6,‘jack’,30,3,100001) on duplicate key update
name=values(name),age=values(age),deptid=values(deptid),empno=values(empno);
在执行export导出操作时,默认的导出语句适用于向一个新的空表导出数据,每一行要导出的记录,都会转换为insert语句执行查询,此时如果说触犯了某些表的某些约束,例如主键的唯一约束,此时insert失败,Job失败!
如果要导入的表已经有数据了,此时可以指定–update-key参数,通过此参数,可以将导入的数据,使用update语句进行导入,此时,只会更新重复的数据,不重复的数据时无法导入的!
如果希望遇到重复的数据,就更新,不重复的数据就新增导入,可以使用–update-key,结合–update-mode(默认为updateonly)=allowinsert.
[mysqld]
log-bin=mysql-bin
重启服务!
SQL命令编写在脚本中,参数名和参数值之间需要换行!
五、总结
1.命令格式
Sqoop export [参数]…
hive和hdfs上的数据可以直接导入到mysql,
hbase的数据需要先运行MR将hbase的数据导出到hdfs,再导出到mysql
普通的expoet导出使用的情况是向一个空表带出数据,如果表中有数据,那么保证导出的数据不会触犯表定义的约束,如果触犯了约束,此时可以使用以下两个参数!
普通的export是将导出的数据使用insert插入到目标表!
----update-key 主题列/唯一列(唯一约束的列)
使用哪一列来判断数据重复
–update-mode
updateonly(默认):将所有的insert语句转换为update语句,对于重复的数据只更新!
allowinsert:对于重复的数据进行更新,新的数据进行插入到目标表!
2.脚本格式运行
注意:如果以脚本形式运行Sqoop,需要将Sqoop命令编写在配置文件中,配置文件中参数名和参数值之间需要换行!