Sqoop2 shell命令的使用

Sqoop2的安装以及配置，参考链接

基于Sqoop2 实现关系型数据库到HDFS的数据传输

1、设置sqoop服务端

 set server -u http://master:12000/sqoop

2、创建link

先查看现有的cennector,通过 show connector 可以查看到几种connector的方式

show connector  

这里我以mysql  -> hdfs传输为例，分别创建两个link  。

 1) mysql 链接

create link -c generic-jdbc-connector  

Name： mysql-link      
Driver Class：com.mysql.jdbc.Driver。
Connection String：jdbc:mysql://127.0.0.1:3306/test
Username：root
Password：root
FetchSize：直接回车

entry#：protocol=tcp

Identifier enclose：空格  ,再回车

2) hdfs链接

create link -c  hdfs-connector  

Name: hdfs-link    
HDFS URI:  hdfs://master:9000
Hadoop conf directory:/root/hadoop-2.7.2/etc/hadoop      #Hadoop配置文件的目录

3)查看已创建的链接

show link

3、创建job

create job -f mysql-link -t hdfs-link

Name: hbase_job
Schema name:
Table name: demo_sqoop2hbase
Table SQL statement:                   #可选
Table column names:    #可选
Partition column name:         #可选
Null value allowed for the partition column:      #可选
Boundary query:                        #可选
 
Check column:                         #可选
Last value:                          #可选
 
Override null value:                    #可选
Null value: 
Output format:                    #输出文件格式
 0 : TEXT_FILE  
..........
Choose: 0                           #必选 
Compression format: #用于指定使用什么压缩算法进行导出数据文件压缩，我指定NONE，这个也可以使用自定义的压缩算法CUSTOM，用Java实现相应的接口
0 : NONE
  ..........
Choose: 0                               #必选  这个就是指定的custom压缩算法
 
Output directory: /test# 指定存储在HDFS文件系统中的路径，这里最好指定一个存在的路径，或者存在但路径下是空的，貌似这样才能成功。
Append mode:
Extractors: 1                           
Loaders: 1                          

 

  查看job

show job

4、运行job

start job -n hbase_job  -s 

可通过hadoop集群查看到该job