一、简介
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
可以将一个关系型数据库(例如 : MySQL ,Oracle 等)中的数据导进到Hadoop的HDFS、HIVE、HBASE中。
也可以将Hadoop的HDFS、HIVE、HBASE的数据导进到关系型数据库中。
二、准备工作
1、安装hadoop集群
https://blog.csdn.net/u011374856/article/details/103310627
三、Sqoop下载
下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.15.1.tar.gz
注:其他大数据组件也可在 http://archive.cloudera.com/cdh5/cdh/5 版本库中找到
四、Sqoop安装
1、解压压缩包
tar -zxvf sqoop-1.4.6-cdh5.15.1.tar.gz
2、配置环境变量
#配置当前用户环境变量
vi ~/.bash_profile
#在文件中添加如下命令,记得切换自己文件路径
export SQOOP_HOME=/home/app/sqoop-1.4.6-cdh5.15.1
export PATH=$SQOOP_HOME/bin:$PATH
#立即生效
source ~/.bash_profile
3、版本信息
sqoop version
五、MySQL8.0导入HBase
1、Docker安装MySQL
https://blog.csdn.net/u011374856/article/details/103344949
2、安装hbase集群
https://blog.csdn.net/u011374856/article/details/103316527
3、创建测试数据库和测试表并添加一些数据
4、下载依赖Jar包
#下载目录
http://central.maven.org/maven2/mysql/mysql-connector-java/
#SQOOP_HOME的lib目录
cd $SQOOP_HOME/lib
#MySQL驱动远程下载
wget http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar
#java-json远程下载
wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar.zip
#解压文件
unzip java-json.jar.zip
#如果报-bash: unzip: 未找到命令
yum install -y unzip zip
#如果报错-bash: wget: 未找到命令
yum install -y wget
5、执行导入
#到SQOOP_HOME的bin目录
cd $SQOOP_HOME/bin
#测试mysql能否连接
sqoop list-databases \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456'
#sql语句检验
sqoop eval \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456' \
--query "SELECT * FROM woniu"
#导入命令
sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table woniu \
--hbase-table hbase_woniu \
--column-family info \
--hbase-create-table \
--hbase-row-key id \
--hbase-bulkload
6、大功告成