Sqoop 安装及环境搭建

1、sqoop下载安装

下载地址：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ

提取码：m9pj

（1）安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境
（2）上传并解压安装到指定文件夹，这里安装在/opt目录下

2、配置 sqoop

（1）修改配置文件sqoop-env.sh

刚安装的 sqoop 没有sqoop-env.sh这个文件，但有sqoop-env-template.sh文件，直接把这个文件改名为sqoop-env.sh即可

mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh

然后配置内容如下：（配置各软件的安装目录）

export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export ZOOKEEPER_HOME=/opt/zookeeper
export ZOOCFGDIR=/opt/zookeeper
export HBASE_HOME=/opt/hbase

（2）复制mysql-connector-java-5.1.38.jar到/opt/sqoop/lib目录下

cp /opt/hive/lib/mysql-connector-java-5.1.38.jar /opt/sqoop/lib/

（3）查看是否配置成功

进去 sqoop 目录下输入如下指令查看 sqoop 版本；

bin/sqoop version

查看结果如下；说明安装配置成功

（4）隐藏警告信息

修改配置文件/opt/sqoop/bin/configure-sqoop
注释掉如下几行，大概是142到153行

执行上面操作后再查看 sqoop 版本则不会发出警告，结果如下

3、测试 Sqoop 是否能够成功连接数据库

（1）在此之前需要下载一个java-json.jar到/opt/sqoop/lib目录下

cd /opt/sqoop/lib
wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar

注意下载完成后是压缩包，需要解压！！！

（2）进入 sqoop 目录下执行如下语句查看数据库

bin/sqoop list-databases --connect jdbc:mysql://hadoop:3306/hive --username root --password ok

结果如下则说明连接成功

注意执行操作一定要执行 bin 目录下的操作！！！

（3）配置环境变量

vi /etc/profile

配置内容：

export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

添加配置完成后source /etc/profile

之后就可以在任意文件夹执行 sqoop 命令了