Sqoop数据迁移安装详细教程

一、sqoop安装

安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境。
sqoop安装包下载
链接：sqoop安装包及需要jar包
提取码：12i8

1.1 下载并解压

1. 上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中
2. 解压 sqoop 安装包到指定目录， tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/soft/
3. 重命名mv /opt/soft/sqoop-1.4.6-cdh5.14.2/ /opt/soft/sqoop146
4. 配置环境变量vi /etc/profile，在末尾添加配置信息

export SQOOP_HOME=/opt/soft/sqoop 
export PATH=$SQOOP_HOME/bin:$PATH

5. 让配置文件生效source /etc/profile

1.2 修改配置文件

Sqoop 的配置文件与大多数大数据框架类似，在 sqoop 根目录下的 conf 目录 中。

1. 进入conf目录cd /opt/soft/sqoop146/conf
2. 重命名配置文件cp sqoop-env-template.sh sqoop-env.sh
3. 修改配置文件vi sqoop-env.sh，根据自己安装的地址来写

export HADOOP_COMMON_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260
export HIVE_HOME=/opt/soft/hive110
export ZOOKEEPER_HOME=/opt/soft/zookeeper346
export ZOOCFGDIR=/opt/soft/zookeeper346/conf
export HBASE_HOME=/opt/soft/hbase120

1.3 拷贝 JDBC 驱动

拷贝 jdbc 驱动到 sqoop 的 lib 目录下，cp mysql-connector-java-5.1.27-bin.jar /opt/soft/sqoop146/lib/

1.4 验证 Sqoop

我们可以通过某一个 command 来验证 sqoop 配置是否正确：sqoop help