sqoop 实操

sqoop常用参数

安全环境下操作需要做安全认证

• 常用命令

命令名称	对应类	命令说明
import	ImportTool	将关系型数据库数据导入到HDFS、HIVE、HBASE
export	ExportTool	将HDFS上的数据导出到关系型数据库
codegen	CodeGenTool	获取数据库中某张表数据生成Java并打成Jar包
create-hive-table	CreateHiveTableTool	创建hive的表
eval	EvalSqlTool	查看SQL的执行结果
list-databases	ListDatabasesTool	列出所有数据库
list-tables	ListTablesTool	列出某个数据库下的所有表
help	HelpTool	打印sqoop帮助信息
version	VersionTool	打印sqoop版本信息

• 连接参数列表

Argument	Description
--connect <jdbc-uri>	Specify JDBC connect string 指定JDBC连接字符串
--connection-manager <class-name>	Specify connection manager class to use 指定要使用的连接管理器类
--driver <class-name>	Manually specify JDBC driver class to use 指定要使用的JDBC驱动类
--hadoop-mapred-home <dir>	Override $HADOO{P}_{M}APRE{D}_{H}OME指定$HADOOP_MAPRED_HOME路径
--help	Print usage instructions 帮助信息
--password-file	Set path for a file containing the authentication password 设置用于存放认证的密码信息文件的路径
-P	Read password from console 从控制台读取输入的密码
--password <password>	Set authentication password 设置认证密码
--username <username>	Set authentication username 设置认证用户名
--verbose	Print more information while working 打印运行信息
--connection-param-file <filename>	Optional properties file that provides connection parameters 指定存储数据库连接参数的属性文件

• 连接MySQL示例

# 查询数据库列表 对标show databases
sqoop list-databases --connect jdbc:mysql://worker-1:3306/ --username root --password Congf1daof4

# 查询指定库下面所有表 对标show tables in cm
sqoop list-tables --connect jdbc:mysql://worker-1:3306/cm --username root --password Congf1daof4

sqoop应用

• eval查看sql查询结果

sqoop eval \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--query "select * from HOSTS"

• codegen指定表生成jar

sqoop codegen \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS

• create-hive-table创建hive表

sqoop create-hive-table \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS \
--hive-table createbysqoop

• import to hive

# 使用query参数或者-e参数时必须带where $CONDITIONS
# $CONDITIONS意义，为sqoop系统参数，任务执行时用于划分并行度使用，解析时会按照split-by字段进行分段划分，如下的host_id会被分为4份，而从什么位置开始划分则由系统参数$CONDITIONS决定的
# num-mappers意义，MapReduce执行时map并行度
sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--target-dir /user/hive/importbysqoop1 \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 4 \
--split-by host_id \
--query 'select * from HOSTS where $CONDITIONS'

# 导入不同格式，支持格式as-avrodatafile、as-binaryfile、as-parquetfile、as-sequencefile、as-textfile(默认格式)
sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--target-dir /user/hive/importbysqoop1 \
--delete-target-dir \
--as-sequencefile \
--fields-terminated-by "\t" \
--num-mappers 4 \
--split-by host_id \
--query 'select * from HOSTS where $CONDITIONS'

# 导入hive表
sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table HOSTS
# 导入hive表使用parquet格式
sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS \
--delete-target-dir \
--as-parquetfile \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table HOSTS

# hive增量导入
# check-column检查列，以哪一列作为增量检查列
# last-value 从哪里开始向后导入(不包含当前值)
# incremental 增量模式
sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS \
--as-parquetfile \
--target-dir /user/hive/warehouse/hosts \
--incremental append \
--check-column host_id \
--last-value 1

• import to hbase

sqoop import \
--connect jdbc:mysql://worker-1:3306/cm \
--username root \
--password Congf1daof4 \
--table HOSTS \
--hbase-create-table \
--hbase-table xiniu:hosts \
--column-family cf1 \
--hbase-row-key HOST_ID

海汼部落原创文章，原文链接：http://www.hainiubl.com/topics/75727