一、环境
操作系统:CentOS6.9
软件版本:Sqoop1.4.7
二、安装Sqoop
1、下载安装包
以root用户操作:
wget http://www.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
2、解压安装文件
以root用户操作:
tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /u01/app
修改文件夹名称:
mv /u01/app/sqoop-1.4.7.bin__hadoop-2.6.0 /u01/app/sqoop-1.4.7.bin-hadoop-2.6.0
将文件所有者改为hadoop用户(根据具体情况操作,我这里是将sqoop安装在hadoop用户):
chown -R hadoop:hadoop /u01/app/sqoop-1.4.7.bin-hadoop-2.6.0
3、配置环境变量
以root用户操作:
vi /etc/profile
增加以下内容:
export SQOOP_HOME=/u01/app/sqoop-1.4.7.bin-hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
使配置生效:
source /etc/profile
4、导入Jar包
需要将hive-common-2.3.4.jar导入$SQOOP_HOME/lib,否则启动Sqoop程序的时候会报错:
Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
这个Jar包可在$HIVE_HOME/lib找到。
另外,如果是从Oracle同步数据至Hive,则需要将连接Oralce的Jar包也导入到$SQOOP_HOME/lib,其他数据库相同,导入相对应的数据库连接Jar包。
完毕。