sqoop是一个数据导入导出的工具,可以将关系型数据库当中的数据导入到大数据平台来,也可以将大数据平台当中的数据导入到关系型数据库当中去
我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据
修改sqoop配置文件
修改sqoop的配置文件sqoop-env.sh
cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf
vim sqoop-env.sh
打开Hbase路径目录
#set the path to where bin/hbase is available
export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0
1.需求一:将mysql表当中的数据导入到HBase当中来
1、创建数据库表
CREATE DATABASE IF NOT EXISTS library;
USE library;
CREATE TABLE book(
id INT(4) PRIMARY KEY NOT NULL AUTO_INCREMENT,
NAME VARCHAR(255) NOT NULL,
price VARCHAR(255) NOT NULL);
2、插入数据
INSERT INTO book(NAME, price) VALUES('Lie Sporting', '30');
INSERT INTO book (NAME, price) VALUES('Pride & Prejudice', '70');
INSERT INTO book (NAME, price) VALUES('Fall of Giants', '50');
3、将mysql表当中的数据导入HBase表当中去
执行以下命令,将mysql表当中的数据导入到HBase当中去
bin/sqoop import \
--connect jdbc:mysql://192.168.1.5:3306/library \
--username root \
--password admin \
--table book \
--columns "id,name,price" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_book" \
--num-mappers 1 \
--split-by id
4、HBase当中查看表数据
进入hbase的shell客户端,通过scan查看数据
scan 'hbase_book'
2. 需求二:将HBase当中的数据导出到mysql当中来
注意: sqoop不支持我们直接将HBase当中的数据导出,所以我们可以通过以下的转换进行导出
Hbase→hive外部表→hive内部表→通过sqoop→mysql
1、创建hive外部表
进入hive客户端,创建hive外部表,映射hbase当中的hbase_book表
CREATE EXTERNAL TABLE course.hbase2mysql (id int,name string,price int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" =
":key,info:name, info:price"
)
TBLPROPERTIES( "hbase.table.name" = "hbase_book",
"hbase.mapred.output.outputtable" = "hbase2mysql");
2、创建hive内部表
CREATE TABLE course.hbase2mysqlin(
id int,
name string,
price int);
3、外部表数据插入内部表
insert overwrite table course.hbase2mysqlin
select *
from course.hbase2mysql;
4、清空mysql表数据
TRUNCATE TABLE book;
5、执行sqoop导出hive内部表
sqoop export \
--connect jdbc:mysql://192.168.1.5:3306/library \
--username root -password admin \
--table book \
--export-dir /user/hive/warehouse/course.db/hbase2mysqlin \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N';
6、mysql查看数据
select * from book;