一、Sqoop
一款开源工具,主要用于在Hadoop(Hive)与传统的数据库(mysql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
二、安装和配置
版本:sqoop 1.4.6
先解压,解压后的文件夹改名为sqoop146,配置环境变量并激活。
vim /etc/profile.d/myenv.sh
------------添加的内容------------
export SQOOP_HOME=/opt/software/sqoop146
export PATH=$PATH:$SQOO_HOME/bin
export LOGDIR=$SQOOP_HOME/logs
资源拷贝
cd /opt/software/sqoop146/lib/
find /opt/software/hive312/ -name 'mysql* .jar'
cp /opt/software/hive312/lib/mysql-connector-java-5.1.47.jar ./
cp /opt/software/hadoop313/share/hadoop/common/hadoop-common-3.1.3.jar ./
cp /opt/software/hadoop313/share/hadoop/hdfs/hadoop-hdfs-3.1.3.jar ./
cp /opt/software/hadoop313/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar ./
其他配置
cd /opt/software/sqoop146/conf/
cp sqoop-env-template.sh sqoop-env.sh
------------sqoop-env.sh中添加的内容------------
export HADOOP_COMMON_HOME=/opt/software/hadoop313
export HADOOP_MAPRED_HOME=/opt/software/hadoop313
export HBASE_HOME=/opt/software/hbase235
export HIVE_HOME=/opt/software/hive312
export ZOOCFGDIR=/opt/software/zookeeper357
可以使用以下命令查看配置是否成功
sqoop list-databases --connect jdbc:mysql://yourhostname:3306 --username **** --password **