- 安装:
-
- tar –xzvf sqoop-1.4.1-cdh4.1.0.tar.gz
- add sqljdbc4.jar into /usr/lib/sqoop/lib
- 设置PATH
-
export SQOOP_HOME=/usr/lib/sqoop
- export ANT_LIB=/home/op1/jasonliao/apache-ant-1.9.0/lib
-
export PATH=$PATH:/home/op1/logging/tool/play-1.2.5:$JAVA_HOME/bin:$ANT_HOME/bin:$SQOOP_HOME/bin
-
- sqoop导入hbase:
- 方式一:
sqoop import --connect 'jdbc:sqlserver://***;username=***;password=***;database=MrtgTest' \
--table=a --columns a,b,c --where "b='f'" --hbase-table test_sqoop --column-family cf --hbase-row-key a -m 1
这种column指定不是很灵活,不能指定多个column family。
-
- 方式二:
-
- Sqoop导出到hdfs:
- sqoop import --connect 'jdbc:sqlserver://***;username=***;password=***;database=MrtgTest' --table=a --columns a,b,c --where "b='f'" --target-dir /user/xgliao/output2 -m 1
-
Importtsv转换成hfile文件:
- hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.bulk.output=/user/xgliao/hfile/test -Dimporttsv.separator=, -Dimporttsv.timestamp=20130322 -Dimporttsv.columns=HBASE_ROW_KEY,cf:x,cf:y test_sqoop /user/xgliao/output2
- Hfile文件导入hbase:
- hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar completebulkload /user/xgliao/hfile/test test_sqoop (要注意生产hdfs文件跟hbase文件是同一目录下面的)
- Sqoop导出到hdfs:
这种方式步骤比较多,但是比较灵活,导入过程基本不占用hbase资源。