sqoop使用记录

最新推荐文章于 2022-11-03 10:21:50 发布

键盘上的孤舞者

最新推荐文章于 2022-11-03 10:21:50 发布

阅读量650

点赞数

分类专栏： sqoop 文章标签： sqoop

本文链接：https://blog.csdn.net/king_sky_wjb/article/details/38470473

版权

sqoop使用

使用sqoop导入数据到HBase

Distributor ID:   Debian
Description:   Debian GNU/Linux 6.0.7 (squeeze)
Release:   6.0.7
Codename:   squeeze
双核内存4g

hadoop apache hadoop-1.2.1
hbase 0.94.20
hive 0.13.1
sqoop 1.4.4

添加jdbc驱动到 ${sqoop}\lib下

MySQL导入数据到HDFS
./sqoop import --connect jdbc:mysql://localhost:3306/test --table users -m 1 --username root -P

MYSQL导入数据到HBase
./sqoop import --connect jdbc:mysql://localhost:3306/zcreader --table zcreader_rss --hbase-table husers --column-family uu --hbase-row-key rssid --hbase-create-table   --username root -P

Oracle导入数据到Hbase
./sqoop import --connect jdbc:oracle:thin:@localhost:1521:orcl --table CODE_GJ --hbase-table code_gj --column-family codegj --columns CODE,NAME,SPELL,WMZX,SIMPLE,IFFILTER,CSBZ   -m 1 --hbase-row-key CODE --hbase-create-table   --username jxzw -P

注意：Oracle导入时必须指定columns,Mysql可以不指定
     Oracle/Mysql表中如果未定义主键，则导入时只能使用单线程 -m 1 或者指定 split-by