sqoop适用的数据源_sqoop v1.4.5 使用举例（postgresql）

1、Sqoop简介

Apache sqoop是一个专门为高效在Apache hadoop和结构化数据库之间传输大规模数据的工具，可以用来在MySQL,postgresql,Oracle和HDFS之间传输数据。Sqoop开始于2012年3月份，现在是Apache的顶级项目。目前最稳定的sqoop1版本也是sqoop1的最后一个版本是1.4.6，最新的sqoop2版本是1.99.7。Sqoop1和sqoop2之间不兼容。

2、Sqoop安装

(1)、编辑sqoop/conf/sqoop-env.sh

若是不用hbase和hive的话就不用配置，需要使用zookeeper的话自己配置zookeeper的home,这里仅仅只配置了hive，其他类似。

export HIVE_HOME=XXXX

(2)、编辑sqoop/bin/configure-sqoop

根据需要注释掉自己不用的东西：

根据自己的需要注释掉了 HCAT_HOME 、ACCUMULO_HOME、ZOOKEEPER_HOME

(3)、测试

命令行输入：sqoop version

显示如下：

06/09/19 15:28:49 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5

Sqoop 1.4.5

git commit id 5b34accaca7de251fc91161733f906af2eddbe83

Compiled by abe on Fri Aug 1 11:19:26 PDT 2014

3、sqoop命令行简介

(1)、sqoop list-databases命令

列出pg数据库下的所有数据库：

例子：<