目录
2.3.将MySQL中某个表数据导入到HDFS中(全量导入,不指定目录)
2.4.将MySQL中某个表数据导入到HDFS中(全量导入,指定目录)
2.5.将MySQL中某个表数据导入到HDFS中(全量导入,指定目录,指定分隔符)
1)Sqoop介绍
sqoop是apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具。 简单来说,sqoop就是一款数据导入导出工具。
导入:从RDBMS到hadoop生态圈的过程。
导出:从hadoop生态圈到RDBMS。
底层:将导入导出命令翻译成MR任务,执行在YARN平台上,底层是对MR的输入和输出做了定制化操作。
sqoop的使用方式主要有二种:原生API 和hcatalog API(导入到HDFS 采用的原生API,导入到Hive做增量导入,一般使用hcatalog)
原生API和hcatalog的区别:
(1)支持数据类型不同,hcatalog支持数据类型更多,而原生仅仅支持普通文本。
(2)原生API进行数据覆盖,而hcatalog是数据追加。
(3)hcatalog要求字段的名称都得对应一致,而原生API不需要,但是需要保证字段个数一致。
2)Sqoop命令
2.1.列出主机所有的数据库
sqoop list-databases \
--connect jdbc:mysql://192.168.52.150:3306/ \
--username root --password 123456
2.2.查看某一个数据库下面的所有数据表
sqoop list-tables \
--connect jdbc:mysql://192.168.52.150:3306/hive \
--username root --password 123456
2.3.将MySQL中某个表数据导入到HDFS中(全量导入,不指定目录)
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--password 123456 --username root \
--table emp \
--m 1
注意:
如果没有指定目的地目录,此时默认情况下导入到hdfs当前用户的家目录下,数据中字段与字段的分隔符号为逗号
。
2.4.将MySQL中某个表数据导入到HDFS中(全量导入,指定目录)
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp \
--delete-target-dir \
--target-dir /sqoop/emp \
--m 1
2.5.将MySQL中某个表数据导入到HDFS中(全量导入,指定目录,指定分隔符)
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp \
--delete-target-dir \
--target-dir /sqoop/emp2 \
--fields-terminated-by '\t' \
--m 1
#属性说明:
#--target-dir 指定目标目录
#--delete-target-dir : 如果目标目录以存在, 先进行删除
#--fields-terminated-by: 指定字段与字段之间的分隔符号 和hdfs表的分割字段一致
2.6.将MySQL的数据导入的Hive中(全量导入)
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1
注意:
如果使用上述的sqoop导入到hive中,要求在hive中先创建对应库和对应表。
2.7.将MySQL中数据导入到HDFS(部分导入)
- 第一种方式:基于where 子句方式导入
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp_add \
--where "city = 'sec-bad'" \
--delete-target-dir \
--target-dir /sqoop/emp_add \
-m 1
- 第二种方式:通过 SQL语句的方式实现数据导入操作
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--query 'select phno from emp_conn where 1=1 and $CONDITIONS' \
--delete-target-dir -m 1 \
--target-dir /sqoop/emp_conn
注意事项:
1、使用sql语句来进行查找时不能加参数–table
2、并且必须要添加where条件
3、并且where条件后面必须带一个$CONDITIONS这个字符串,
4、并且这个sql语句如果使用双引号,则要修改为$CONDITIONS
2.8.将MySQL中部分数据导入到HIVE(增量导入)
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--query "select * from emp where id>1203 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1 \
2.9.将hive数据导出到MySQL中
sqoop export \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 \
--table emp_out \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1
3)Sqoop参数说明
参数 | 说明 |
---|---|
–connect | 连接关系型数据库的URL |
–username | 连接数据库的用户名 |
–password | 连接数据库的密码 |
–driver | JDBC的driver class |
–query或–e | 将查询结果的数据导入,使用时必须伴随参–target-dir,–hcatalog-table,如果查询中有where条件,则条件后必须加$CONDITIONS关键字。如果使用双引号包含sql,则$CONDITIONS前要加上\以完成转义:$CONDITIONS。 |
–hcatalog-database | 指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供 --hcatalog-database不带选项–hcatalog-table是错误的。 |
–hcatalog-table | 此选项的参数值为HCatalog表名。该–hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的,并且是HCatalog作业的必需选项。 |
–create-hcatalog-table | 此选项指定在导入数据时是否应 自动创建HCatalog表。表名将与转换为小写的数据库表名相同。 |
–hcatalog-storage-stanza | ‘stored as orc tblproperties (“orc.compress”=“SNAPPY”)’ 建表时追加存储格式到建表语句中,tblproperties修改表的属性,这里设置orc的压缩格式为SNAPPY。 |
-m | 指定并行处理的MapReduce任务数量。-m不为1时,需要用split-by指定分片字段进行并行导入,尽量指定int型。 |
–split-by id | 如果指定–split by,必须使用$CONDITIONS关键字,双引号的查询语句还要加\。 |
–hcatalog-partition-keys | keys和values必须同时存在,相当于指定静态分区。允许将多个键和值提供为静态分区键。多个选项值之间用,(逗号)分隔。比如:–hcatalog-partition-keys year,month,day;–hcatalog-partition-values 1999,12,31 |
–hcatalog-partition-values | keys和values必须同时存在,相当于指定静态分区。允许将多个键和值提供为静态分区键。多个选项值之间用,(逗号)分隔。比如:–hcatalog-partition-keys year,month,day;–hcatalog-partition-values 1999,12,31 |
–null-string ‘\N’ | 指定mysql数据为空值时用什么符号存储,null-string针对string类型的NULL值处理,–null-non-string针对非string类型的NULL值处理。 |
–null-non-string ‘\N’ | 指定mysql数据为空值时用什么符号存储,null-string针对string类型的NULL值处理,–null-non-string针对非string类型的NULL值处理。 |
–hive-drop-import-delims | 设置无视字符串中的分割符(hcatalog默认开启) |
–fields-terminated-by ‘\t’ | 设置字段分隔符 |