安装Sqoop及环境配置

一.安装Sqoop及环境配置

1.前提条件

安装Sqoop的前提已经具备Java和Hadoop，Hive，Zookeeper，Hbase的环境

2.下载并解压

（1）上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机需要安装的文件夹中（我直接放在我要安装的文件夹下/opt）

（2）解压sqoop安装包到指定文件夹

[root@hadoop1 opt]# tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz
#改名
[root@hadoop1 opt]#  mv sqoop-1.4.6-cdh5.14.2       sqoop

（3）配置环境变量

[root@hadoop1 ~]# vi /etc/profile

添加如下内容：

export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

让配置文件生效

[root@hadoop1 ~]# source /etc/profile

3.修改配置文件

（1）.进入conf目录，重新命名配置文件

[hadoop@hadoop1 conf]$ mv sqoop-env-template.sh sqoop-env.sh

（2）修改配置文件sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/hadoop 
export HADOOP_MAPRED_HOME=/opt/hadoop 
export HIVE_HOME=/opt/hive 
export ZOOKEEPER_HOME=/opt/zkpr 
export ZOOCFGDIR=/opt/zkpr
export HBASE_HOME=/opt/hbase

（3）进入bin下目录，将configure-sqoop相关warning进行注销

[root@hadoop1 bin]# vi configure-sqoop

使用:<<! 注销内容 !注销如图的内容

4.拷贝JDBC驱动

将hive/lib/mysql-connector-java-5.1.38.jar 拷贝到sqoop的lib文件夹下

[root@hadoop1 sqoop]# cp ../hive/lib/mysql-connector-java-5.1.38.jar lib/

5.测试 Sqoop 是否能够成功连接数据库

[root@hadoop1 sqoop]# bin/sqoop list-databases \
> --connect jdbc:mysql://hadoop1:3306/ \
> --username root \
> --password ok
> 注：注意换行之前的空格

这里需要配置自己 mysql 数据库的连接信息。

出现如下输出：

information_schema

hive

mysql

performance_schema