Sqoop 命令参数
codegen
将关系型数据库中的表映射为一个Java类,在该类中有各列对应的各个字段。
如:
sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"
序号 | 参数 | 说明 |
---|---|---|
1 | –bindir <dir> | 指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径 |
2 | –class-name <name> | 设定生成的Java文件指定的名称 |
3 | –outdir <dir> | 生成Java文件存放的路径 |
4 | –package-name <name> | 包名,如com.z,就会生成com和z两级目录 |
5 | –input-null-non-string <null-str> | 在生成的Java文件中,可以将null字符串或者不存在的字符串设置为想要设定的值(例如空字符串) |
6 | –input-null-string <null-str> | 将null字符串替换成想要替换的值(一般与5同时使用) |
7 | –map-column-java <arg> | 数据库字段在生成的Java文件中会映射成各种属性,且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型,例如:–map-column-java id=long, name=String |
8 | –null-non-string <null-str> | 在生成Java文件时,可以将不存在或者null的字符串设置为其他值 |
9 | –null-string <null-str> | 在生成Java文件时,将null字符串设置为其他值(一般与8同时使用) |
10 | –table <table-name> | 对应关系数据库中的表名,生成的Java文件中的各个属性与该表的各个字段一一对应 |
create-hive-table
生成与关系数据库表结构对应的hive表结构。
命令:
如:
sqoop create-hive-table \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--hive-table hive_staff
参数:
序号 | 参数 | 说明 |
---|---|---|
1 | –hive-home <dir> | Hive的安装目录,可以通过该参数覆盖掉默认的Hive目录 |
2 | –hive-overwrite | 覆盖掉在Hive表中已经存在的数据 |
3 | –create-hive-table | 默认是false,如果目标表已经存在了,那么创建任务会失败 |
4 | –hive-table | 后面接要创建的hive表 |
5 | –table | 指定关系数据库的表名 |
eval
可以快速的使用SQL语句对关系型数据库进行操作,经常用于在import数据之前,了解一下SQL语句是否正确,数据是否正常,并可以将结果显示在控制台。
命令:
如:
sqoop eval \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--query "SELECT * FROM staff"
参数:
序号 | 参数 | 说明 |
---|---|---|
1 | –query或–e | 后跟查询的SQL语句 |
import-all-tables
可以将RDBMS中的所有表导入到HDFS中,每一个表都对应一个HDFS目录
命令:
如:
sqoop import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--warehouse-dir /all_tables
序号 | 参数 | 说明 |
---|---|---|
1 | –as-avrodatafile | 这些参数的含义均和import对应的含义一致 |
2 | –as-sequencefile | |
3 | –as-textfile | |
4 | –direct | |
5 | –direct-split-size <n> | |
6 | –inline-lob-limit <n> | |
7 | –m或—num-mappers <n> | |
8 | –warehouse-dir <dir> | |
9 | -z或–compress | |
10 | –compression-codec |
job
用来生成一个sqoop任务,生成后不会立即执行,需要手动执行。
命令:
如:
sqoop job \
--create myjob -- import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456
sqoop job --list
sqoop job --exec myjob
尖叫提示:注意import-all-tables和它左边的--之间有一个空格
尖叫提示:如果需要连接metastore,则–meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop
参数:
序号 | 参数 | 说明 |
---|---|---|
1 | –create <job-id> | 创建job参数 |
2 | –delete <job-id> | 删除一个job |
3 | –exec <job-id> | 执行一个job |
4 | –help | 显示job帮助 |
5 | –list | 显示job列表 |
6 | –meta-connect <jdbc-uri> | 用来连接metastore服务 |
7 | –show <job-id> | 显示一个job的信息 |
8 | –verbose | 打印命令运行时的详细信息 |
尖叫提示:在执行一个job时,如果需要手动输入数据库密码,可以做如下优化
<property>
<name>sqoop.metastore.client.record.password</name>
<value>true</value>
<description>If true, allow saved passwords in the metastore.</description>
</property>
list-databases
命令:
如:
sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password 123456
参数:与公用参数一样
list-tables
命令:
如:
sqoop list-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456
参数:与公用参数一样
merge
将HDFS中不同目录下面的数据合并在一起并放入指定目录中
数据环境:
new_staff
1 AAA male
2 BBB male
3 CCC male
4 DDD male
old_staff
1 AAA female
2 CCC female
3 BBB female
6 DDD female
尖叫提示:上边数据的列之间的分隔符应该为\t,行与行之间的分割符为\n,如果直接复制,请检查之。
命令:
如:
创建JavaBean:
sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"
开始合并:
sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id
结果:
1 AAA MALE
2 BBB MALE
3 CCC MALE
4 DDD MALE
6 DDD FEMALE
参数:
序号 | 参数 | 说明 |
---|---|---|
1 | –new-data <path> | HDFS 待合并的数据目录,合并后在新的数据集中保留 |
2 | –onto <path> | HDFS合并后,重复的部分在新的数据集中被覆盖 |
3 | –merge-key <col> | 合并键,一般是主键ID |
4 | –jar-file <file> | 合并时引入的jar包,该jar包是通过Codegen工具生成的jar包 |
5 | –class-name <class> | 对应的表名或对象名,该class类是包含在jar包中的 |
6 | –target-dir <path> | 合并后的数据在HDFS里存放的目录 |
metastore
记录了Sqoop job的元数据信息,如果不启动该服务,那么默认job元数据的存储目录为~/.sqoop,可在sqoop-site.xml中修改。
命令:
如:启动sqoop的metastore服务:sqoop metastore
参数:
序号 | 参数 | 说明 |
---|---|---|
1 | –shutdown | 关闭metastore |