Sqoop安装与使用

一、安装

1、Sqoop安装包下载地址：Sqoop官网

2、在Linux系统创建Sqoop文件夹

1. 创建sqoop文件夹

   mkdir -p /export/sqoop
   

2. 上传安装包

   将安装包sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 到/export/sofaware/
   

3. 解压安装包

   tar -zxvf /export/sofaware/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /export/sqoop
   

4. 重命名

   mv /export/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 /export/sqoop/sqoop-1.4.7
   

3、添加系统环境变量

vi /etc/profile
#在文件末尾添加

#SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

使环境变量立即生效：source /etc/profile

4、配置 Sqoop 环境变量文件

1. 切换到 Sqoop 配置文件目录

   cd $SQOOP_HOME/conf
   

2. 复制 Sqoop 环境变量模板文件

   cp sqoop-env-template.sh sqoop-env.sh 
   

3. 编辑文件，指定相关路径

   vi sqoop-env.sh
   
   编辑内容：(根据自己的集群情况)
   export HADOOP_COMMON_HOME=/export/hadoop
   export HADOOP_MAPRED_HOME=/export/hadoop
   export HBASE_HOME=/export/hbase
   export HIVE_HOME=/export/hive
   export ZOOCFGDIR=/export/zookeeper
   

4. 拷贝Mysql驱动到Sqoop lib目录下

   cp /export/software/mysql-connector-java-5.1.37-bin.jar $SQOOP_HOME/lib
   

5. 拷贝Hive驱动到Sqoop lib目录下

   cp /export/hive/hive-3.1.2/lib/hive-common-3.1.2.jar sqoop-1.4.7/lib/
   

6. 验证

   sqoop version
   

7. 展示Mysql sys库下所以表

   sqoop list-tables \
   		--connect jdbc:mysql://localhost:3306/sys \
   		--username root \
   		--password root
   

8. 去除警告信息

   # 切换到 Sqoop 目录
   cd $SQOOP_HOME/bin
   
   # 编辑文件
   vi configure-sqoop
   

Sqoop 学习

推荐看这位大佬总结的，个人觉得很详细：Sqoop基本原理及常用方法。