Sqoop安装教程

Sqoop安装教程

Sqoop主要使用来将Hadoop的数据与传统关系数据库数据的导出和导出，将关系型数据库的数据导入到HDFS中，也可以将HDFS的数据导出到关系型数据库中。

补充知识:

• Sqoop 底层原理：主要是通过将导入、导出的命令转成成MapReduce，通过map来导入导出。

• Sqoop主要是用来批量同步，类似的有：DataX

• Canal、Maxwell用来实时同步

一、资料

下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

• sqoop其他版本

二、安装

（一）上传文件

将sqoop文件上传到Linux中，将文件上传到/opt/software中

• 通过lrzsz来上传文件
  • 命令：

rz

选择文件并上传

（二）解压文件，并重命名

将文件解压到/opt/module/中

 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/ 
cd /opt/module/

将文件进行重命名

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

(三)修改配置文件

1、进入到/opt/module/sqoop/conf中

cd /opt/module/sqoop/conf

2、修改配置文件

（1）将sqoop环境的模板文件，进行重命名

mv sqoop-env-template.sh sqoop-env.sh 

并sqoop-env.sh中添加以下内容,Hadoop、Hbase、Hive、zookeeper的安装路径

export HADOOP_COMMON_HOME=/opt/ha/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/ha/hadoop-3.1.3
export HBASE_HOME=/opt/module/hbase
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

补充：

• Zookeeper3.5.7集群搭建

• Hbase2.4.11安装_

• Hive3.1.2的搭建

（2）拷贝JDBC驱动

mysql-connector-java-5.1.12.jar,只需要里面的jar包

将mysql-connector-java-5.1.12.jar上传到/opt/module/sqoop/lib

（四）测试

测试Sqoop是否能够成功连接数据库,并展示MySQL中数据库

/opt/module/sqoop/bin/sqoop list-databases --connect jdbc:mysql://hadoop1:3306/ --username root --password root

/opt/module/sqoop/bin/sqoop help