sqoop是一个用来将hadoop和RDBMS(如mysql,oracle,postgres等)之间数据相互导入导出的工具。
安装与使用都相当简便。当然在你安装之前首先得确保你已经安装了hadoop(这个是必须的)、hive、hbase。
安装如下:
1,下载相应的sqoop版本。
下载地址:http://mirrors.cnnic.cn/apache/sqoop/
2,将下载的文件解压到你的安装目录。
3,配置$SQOOP_HOME
4,解压成功后,将hadoop下面的文件 hadoop-core.jar 拷贝到 $SQOOP_HOME/lib目录下
接下来就可以测试是否安装成功了
执行 sqoop 命令
如果没有报错则证明安装成功。
如果报 “Error: Could not find or load main classorg.apache.sqoop.Sqoop” 这个错的话,原因是少sqoop-*.jar(根据版本而定),
到网上下载此相关jar包放到$SQOOP_HOME/lib下即可。
5,如果sqoop无须用到hbase,zookeeper的话,可以将文件 $SQOOP_HOME/bin/configure-sqoop 下的hbase与zookeeper相关内容给注释掉
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
如果不注释掉则每次用到sqoop时都会弹出警告
如果要连接mysql或oracle需将相应的驱动加入 $SQOOP_HOME/lib (如 mysql的 mysql-connector-*.jar)