sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
sqoop就是一款数据导入导出工具,底层 将 导入导出命令翻译成MR任务, 执行在YARN平台上, 底层是对MR的输入和输出做了定制化操作
导入: 从RDBMS 到 hadoop生态圈的过程
导出: 从hadoop生态圈 到 RDBMS
sqoop的使用方式主要有二种: 原生API 和 hcatalog API
导入到HDFS 采用的原生API
导入到hive 做增量导入, 一般使用hcatalog
原生API和 hcatalog的区别:
1、支持数据类型不同, hcatalog支持数据类型更多, 而原生仅仅支持普通文本
2、原生API 进行数据覆盖, 而hbcatalog是数据追加
3、hcatalog要求字段的名称都得对应一致, 而原生API, 不需要, 但是需要保证
字段个数一致
sqoop的命令:
列出主机所有的数据库
sqoop list-databases \
--connect jdbc:mysql://192.168.52.150:3306/ \
--username root --password 123456
查看某一个数据库下面的所有数据表
sqoop list-tables \
--connect jdbc:mysql://192.168.52.150:3306/hive \
--username root --password 123456
将MySQL中某个表数据导入到HDFS中 : 全量导入
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--password 123456 --username root \
--table emp \
--m 1
注意: 如果没有指定目的地目录, 此时默认情况下导入到hdfs当前用户的家目录下, 数据中字段与字段的分隔符号为 逗号
导入到指定的目录下:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp \
--delete-target-dir \
--target-dir /sqoop/emp \
--m 1
属性说明:
--target-dir 指定目标目录
--delete-target-dir : 如果目标目录以存在, 先进行删除
--fields-terminated-by: 指定字段与字段之间的分隔符号
指定分隔符号并且指定了目标目录:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp \
--delete-target-dir \
--target-dir /sqoop/emp2 \
--fields-terminated-by '\t' \
--m 1
将MySQL的数据导入的hive中: 全量导入
第一步: 准备hive数据库及其hive的表
create database sqooptohive;
create table sqooptohive.emp_hive(
id int,
name string,
deg string,
salary int ,
dept string
) row format delimited fields terminated by '\t' stored as orc;
第二步: 通过sqoop 实施导入操作:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1
第三步: 到hive的表中查看 是否已经将数据导入成功了
select * from sqooptohive.emp_hive;
注意: 如果使用上述的sqoop导入到hive中, 要求在hive中先创建对应库和对应表
将MySQL中部分数据导入到HDFS:
第一种方式: 基于where 子句方式 导入
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp_add \
--where "city = 'sec-bad'" \
--delete-target-dir \
--target-dir /sqoop/emp_add \
-m 1
第二种方式: 通过 SQL语句的方式 实现数据导入操作
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--query 'select phno from emp_conn where 1=1 and $CONDITIONS' \
--delete-target-dir -m 1 \
--target-dir /sqoop/emp_conn
注意事项:
使用sql语句来进行查找时不能加参数 --table
并且必须要添加where条件,
并且where条件后面必须带一个$CONDITIONS 这个字符串,
并且这个sql语句如果使用双引号,则要修改为\$CONDITIONS
将MySQL中部分数据导入到HIVE: 增量导入
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--query "select * from emp where id>1203 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1 \
如何将hive数据导出到MySQL中:
1) 在MySQL中创建目标表:
CREATE TABLE `emp_out` (
`id` INT(11) DEFAULT NULL,
`name` VARCHAR(100) DEFAULT NULL,
`deg` VARCHAR(100) DEFAULT NULL,
`salary` INT(11) DEFAULT NULL,
`dept` VARCHAR(10) DEFAULT NULL
) ENGINE=INNODB DEFAULT CHARSET=utf8;
2) 指定导出命令:
sqoop export \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp_out \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1
3) 在MySQL中查看是否有数据
参数 说明
--connect 连接关系型数据库的URL
--username 连接数据库的用户名
--password 连接数据库的密码
--driver JDBC的driver class
--query或--e <statement> 将查询结果的数据导入,使用时必须伴随参--target-dir,--hcatalog-table,如果查询中有where条件,则条件后必须加上$CONDITIONS关键字。
如果使用双引号包含sql,则$CONDITIONS前要加上\以完成转义:\$CONDITIONS
--hcatalog-database 指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供 --hcatalog-database不带选项--hcatalog-table是错误的。
--hcatalog-table 此选项的参数值为HCatalog表名。该--hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的,并且是HCatalog作业的必需选项。
--create-hcatalog-table 此选项指定在导入数据时是否应 自动创建HCatalog表。表名将与转换为小写的数据库表名相同。
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")' \ 建表时追加存储格式到建表语句中,tblproperties修改表的属性,这里设置orc的压缩格式为SNAPPY
-m 指定并行处理的MapReduce任务数量。
-m不为1时,需要用split-by指定分片字段进行并行导入,尽量指定int型。
--split-by id 如果指定--split by, 必须使用$CONDITIONS关键字, 双引号的查询语句还要加\
--hcatalog-partition-keys
--hcatalog-partition-values keys和values必须同时存在,相当于指定静态分区。允许将多个键和值提供为静态分区键。多个选项值之间用,(逗号)分隔。比如:
--hcatalog-partition-keys year,month,day
--hcatalog-partition-values 1999,12,31
--null-string '\\N'
--null-non-string '\\N' 指定mysql数据为空值时用什么符号存储,null-string针对string类型的NULL值处理,--null-non-string针对非string类型的NULL值处理
--hive-drop-import-delims 设置无视字符串中的分割符(hcatalog默认开启)
--fields-terminated-by '\t' 设置字段分隔符