Sqoop 1.4.6对于Mysql,Oracle的导入导出

测试环境：
CDH 5.7.3 （hadoop 2.6.0）； Sqoop 1.4.6-cdh5.7.3 (在CDH管理平台中添加服务)

1. 下载对应的DB驱动包
mysql:mysql-connector-java-5.1.32-bin.jar
oracle: ojdbc6.jar

2. 拷贝DB驱动包到对应的sqoop目录
 例：/opt/cloudera/parcels/CDH-5.7.3-1.cdh5.7.3.p0.5/lib/sqoop/lib/
集群中的所有节点。

3. Mysql测试
3.1 连接测试，显示所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password *****  
3.2 导出mysql数据表，到HDFS
sqoop import  --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --target-dir '/user/root/test/sqoop_test1' --table kmeans -m 1
3.3 把HDFS上的数据，导入到mysql数据表
sqoop export  --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --table test  --fields-terminated-by ',' --export-dir '/user/root/test/sqoop_test1'

4. Oracle测试
4.1 导出Oracle数据表，到HDFS
sqoop import  --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL  \
--username NNNN --password PPPP \
--target-dir '/user/root/test/sqoop_test12' \
--table TEST_ALL3 -m 1 \

--columns AAAA,BBBB,CCCC

4.2 把HDFS上的数据，导入到oracle数据表
sqoop export  --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL  \
--username NNNN --password PPPP \
--table mytest --fields-terminated-by ',' \

--export-dir '/user/root/test/sqoop_test12'

5. 示例脚本:

导出oracle数据表到hdfs, 选用列AAAA为分区字段，调用了4个mapper

#!/bin/sh

# Oracle connection URL
OracleURL=jdbc:oracle:thin://@192.168.0.101:1521:ORCL
# oracle Username
UserName=NNNN
# Oracle Password
PassWord=PPPP
# Oracle Table Name
OracleTable=TEST3
# Oracle columns
OracleColumn=AAAA,BBBB,CCCC,DDDD
# HDFS output Path
OutputPath=/user/root/test/oracle2hdfs

sqoop import --append --connect $OracleURL \
--username $UserName --password $PassWord \
--target-dir $OutputPath \
--table $OracleTable \
--columns $OracleColumn \
--m 4 --split-by AAAA