Sqoop安装配置介绍

一、下载并安装

wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
cp sqoop-1.4.7.bin__hadoop-2.6.0 /data1/opt/
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

二、修改配置文件

cd /data1/opt/sqoop-1.4.7/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/data1/opt/hadoop
export HADOOP_MAPRED_HOME=/data1/opt/hadoop
export HBASE_HOME=/data1/opt/hbase
export HIVE_HOME=/data1/opt/apache-hive-2.3.4-bin/

在sqoop-env.sh文件中会要求分别进行 common和mapreduce的配置
原因：在apache的hadoop的安装中四大组件都是安装在同一个hadoop_home中的，但是在CDH, HDP中， 这些组件都是可选的。在安装hadoop的时候，可以选择性的只安装HDFS或者YARN。CDH,HDP在安装hadoop的时候，会把HDFS和MapReduce有可能分别安装在不同的地方。

三、拷贝jdbc驱动

cp  mysql-connector-java-5.1.27.jar /data1/opt/sqoop-1.4.7/lib

配置一下环境变量：

export SQOOP_HOME=/data1/opt/sqoop-1.4.7
export PATH=$SQOOP_HOME/bin:$PATH

四、验证Sqoop

./sqoop version

五、测试Sqoop是否能够成功连接数据库

./sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username user1 --password user1