sqoop的安装及使用

sqoop是什么？

sqoop是一个开源工具，允许用户将数据从结构化存储器抽取到hadoop中，用于进一步的处理。抽取出来的数据可以被MapReduce程序使用，也可以被类似于Hive的工具使用。

获取sqoop

官网http://sqoop.apache.org/可以获取Sqoop的官方版本及源码。
本文使用的是
http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
可以使用wget 命令下载到linux

wget  http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

安装sqoop

# tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置/etc/profile

必须设置Sqoop环境通过附加以下行到/etc/profile文件：

export SQOOP_HOME=/usr/lib/sqoop 
export PATH=$PATH:$SQOOP_HOME/bin

下面的命令是用来使profile文件生效。

[root@localhost hadoop]# source /etc/profile

配置Sqoop

要配置Sqoop用Hadoop，需要编辑 sqoop-env.sh 文件，该文件被放置在 $SQOOP_HOME/conf 目录。首先要重定向到 Sqoop config 目录，并使用以下命令复制的模板文件

[root@localhost hadoop]# cd $SQOOP_HOME/conf
[root@localhost conf]# mv sqoop-env-template.sh sqoop-env.sh
[root@localhost conf]# 

打开sqoop-env.sh并编辑下面几行：
加入

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.6.1


#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.6.1

下载并配置java的MySQL连接器（mysql-connector-java）

可以键入如下命令下载mysql-connector-java

wget http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar

将mysql-connector-java-8.0.11.jar移动到lib目录下：

[root@localhost hadoop]# mv mysql-connector-java-8.0.11.jar $SQOOP_HOME/lib

验证Sqoop

下面的命令被用来验证Sqoop版本。

[root@localhost bin]# sqoop -version

输出：

Warning: /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

原因是Hbase、hcatalog、accumulo、zookeeper未安装。