Sqoop安装与操作 Mysql＜=＞HDFS

一、安装Sqoop

sqoop1.4.7官网下载地址

在sqoop-1.4.7.bin中是集成完的，但是有些jar包需要有些jar包不需要
在sqoop1.4.7.tar.gz中是纯净化的安装包

# 将压缩包放到contos的/opt/soft目录下

# 解压安装包
tar -zxf /opt/install/sqoop-1.4.7.tar.gz -C /opt/soft/
# 修改安装目录名
mv /opt/soft/sqoop-1.4.7/ /opt/soft/sqoop147
# 将sqoop-1.4.7.bin的lib下目录的avro-1.8.1.jar放到/opt/soft/sqoop147/lib/目录下
# 将sqoop-1.4.7.bin目录下的sqoop-1.4.7.jar 放到/opt/soft/sqoop147/目录下
# 将hive的一些jar包放到Sqoop下
cp /opt/soft/hive312/lib/hive-common-3.1.2.jar /opt/soft/sqoop147/lib/
cp /opt/soft/hive312/lib/mysql-connector-java-8.0.29.jar /opt/soft/sqoop147/lib/
# 初始env.sh的环境
cp /opt/soft/sqoop147/conf/sqoop-env-template.sh /opt/soft/sqoop147/conf/sqoop-env.sh

sqoop-env.sh

vim /opt/soft/sqoop147/conf/sqoop-env.sh
	export HADOOP_COMMON_HOME=/opt/soft/hadoop313
	export HADOOP_MAPRED_HOME=/opt/soft/hadoop313
	export HIVE_HOME=/opt/soft/hive312
	export HIVE_CONF_DIR=/opt/soft/hive312/conf
	export ZOOCFGDIR=/opt/soft/zk345/conf

/etc/profile

vim /etc/profile
	# SQOOP_HOME
	export SQOOP_HOME=/opt/soft/sqoop147
	export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile

二、Sqoop原理

• Sqoop是一个用于在Hadoop集群和关系型数据库之间进行数据传输的工具。Sqoop的原理是通过使用Java编写的JDBC（Java Database Connectivity）驱动程序连接到关系型数据库，然后将数据转换为Hadoop可以处理的格式