Sqoop安装与配置

Sqoop的安装与配置建立在Hadoop、Hive、MySQL已安装配置好的情况下。

Sqoop基本安装

网址下载最新的 Sqoop下载：Index of /dist/sqoop/1.4.7 (apache.org)

上传到  /usr目录中

接下来我们进入/usr目录内，解压sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。 依次输入以下命令：

mkdir /app
cd /usr
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app
cd /app
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

• 设置环境变量，输入vim /etc/profile，在末尾添加以下两行代码；

  export SQOOP_HOME=/app/sqoop
  
  export PATH=.:$SQOOP_HOME/bin:$PATH

  最后输入source /etc/profile使环境生效。

  Sqoop配置

  将/app/sqoop/conf 下面的sqoop-env-template.sh文件改名为sqoop-env.sh。

  cd /app/sqoop/conf
  mv sqoop-env-template.sh sqoop-env.sh

  vi sqoop-env.sh配置hadoop、hive、hbase环境变量。

  # 自己安装的路径
  export HADOOP_COMMON_HOME=/usr/hadoop
  export HADOOP_MAPRED_HOME=/usr/hadoop
  export HIVE_HOME=/usr/hive

  查看sqoop版本号——sqoop version

Sqoop 需要对接 MySQL 数据库，所以需要添加对应的JDBC驱动包（mysql-connector-java-5.1.45.tar.gz），用于数据库连接，这里的驱动包放在/usr中。 

cd /usr
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/

至此Sqoop配置完成。 最后我们用安装好的 Sqoop 查看 MySQL 内的数据库。

sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123