测试环境:
CDH 5.7.3 (hadoop 2.6.0); Sqoop 1.4.6-cdh5.7.3 (在CDH管理平台中添加服务)
1. 下载对应的DB驱动包
mysql:mysql-connector-java-5.1.32-bin.jar
oracle: ojdbc6.jar
2. 拷贝DB驱动包到对应的sqoop目录
例:/opt/cloudera/parcels/CDH-5.7.3-1.cdh5.7.3.p0.5/lib/sqoop/lib/
集群中的所有节点。
3. Mysql测试
3.1 连接测试,显示所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password *****
3.2 导出mysql数据表,到HDFS
sqoop import --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --target-dir '/user/root/test/sqoop_test1' --table kmeans -m 1
3.3 把HDFS上的数据,导入到mysql数据表
sqoop export --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --table test --fields-terminated-by ',' --export-dir '/user/root/test/sqoop_test1'
4. Oracle测试
4.1 导出Oracle数据表,到HDFS
sqoop import --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL \
--username NNNN --password PPPP \
--target-dir '/user/root/test/sqoop_test12' \
--table TEST_ALL3 -m 1 \
sqoop export --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL \
--username NNNN --password PPPP \
--table mytest --fields-terminated-by ',' \
CDH 5.7.3 (hadoop 2.6.0); Sqoop 1.4.6-cdh5.7.3 (在CDH管理平台中添加服务)
1. 下载对应的DB驱动包
mysql:mysql-connector-java-5.1.32-bin.jar
oracle: ojdbc6.jar
2. 拷贝DB驱动包到对应的sqoop目录
例:/opt/cloudera/parcels/CDH-5.7.3-1.cdh5.7.3.p0.5/lib/sqoop/lib/
集群中的所有节点。
3. Mysql测试
3.1 连接测试,显示所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password *****
3.2 导出mysql数据表,到HDFS
sqoop import --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --target-dir '/user/root/test/sqoop_test1' --table kmeans -m 1
3.3 把HDFS上的数据,导入到mysql数据表
sqoop export --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --table test --fields-terminated-by ',' --export-dir '/user/root/test/sqoop_test1'
4. Oracle测试
4.1 导出Oracle数据表,到HDFS
sqoop import --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL \
--username NNNN --password PPPP \
--target-dir '/user/root/test/sqoop_test12' \
--table TEST_ALL3 -m 1 \
--columns AAAA,BBBB,CCCC
sqoop export --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL \
--username NNNN --password PPPP \
--table mytest --fields-terminated-by ',' \
--export-dir '/user/root/test/sqoop_test12'
5. 示例脚本:
导出oracle数据表到hdfs, 选用列AAAA为分区字段,调用了4个mapper
#!/bin/sh
# Oracle connection URL
OracleURL=jdbc:oracle:thin://@192.168.0.101:1521:ORCL
# oracle Username
UserName=NNNN
# Oracle Password
PassWord=PPPP
# Oracle Table Name
OracleTable=TEST3
# Oracle columns
OracleColumn=AAAA,BBBB,CCCC,DDDD
# HDFS output Path
OutputPath=/user/root/test/oracle2hdfs
sqoop import --append --connect $OracleURL \
--username $UserName --password $PassWord \
--target-dir $OutputPath \
--table $OracleTable \
--columns $OracleColumn \
--m 4 --split-by AAAA