sqoop实践

1.sqoop简介

Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中

2.sqoop原理

3.下载并解压

3.1下载

官网：http://mirrors.hust.edu.cn/apache/sqoop
sqoop 1.4.7

3.2修改配置文件

在 sqoop 根目录下的 conf 目录中。

1. 重命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh

2. 修改配置文件sqoop-env.sh
   

3.3 拷贝 jdbc 驱动到 sqoop 的 lib 目录下

$ cp mysql-connector-java-5.1.40-bin.jar
/usr/local/sqoop/lib

3.4 验证 Sqoop

cd /usr/local/sqoop
bin/sqoop help

结果：

3.5 测试 Sqoop 是否能够成功连接数据库

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/
--username root--password root

4.sqoop简单使用案例

4.1 导入数据

在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS， HIVE，HBASE）中传输数据，叫做：导入，即使用 import 关键字。

4.1.1 RDBMS 到 HDFS

1. 确定 Mysql 服务开启正常
2. 在 Mysql 中新建一张表并插入一些数据
   mysql -uroot -proot

create database company;
create table company.staff(id int(4) primary key not null
auto_increment, name varchar(255), sex varchar(255));
insert into company.staff(name, sex) values('Thomas', 'Male');
 insert into company.staff(name, sex) values('Catalina',
'FeMale');

3. 导入数据
   （1）全部导入

启动hadoop

cd /usr/local/hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh

导入

bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

结果：

下载打开

（2）查询导入
注意：
1.同上个命令比没有了table参数，多了query参数，tablehequery不能同时出现不然报错。
2.where子句一定要包含$CONDITIONS
3.参数用引号包起来，如果用双引号记得转义

$ bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

结果

3）导入指定列
注意：columns 中如果涉及到多列，用逗号分隔，分隔时不要添加空格

$ bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

4）使用 sqoop 关键字筛选查询导入数据

$ bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

4.1.2 RDBMS 到 Hive

打开hive查看是否存在表staff_hive

cd /usr/local/hive
bin/hive
show tables;

用sqoop导出

$ bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

可以添加–hive-database 选入导出的数据库
提示：该过程分为两步，第一步将数据导入到 HDFS，

第二步将导入到 HDFS 的数据迁移到Hive 仓库， 第一步默认的临时目录是/user/用户名/表名
（第二步报错make sure hive_conf_dir is set correctly，搜索了下是环境变量的问题，修改后生效，后来又报有些包找不到，就把hibe/lib下的hive，log4j等开头的jar包放在sqoop/lib下,后来遇到hive unable to instantiate sessionhivemetastorecllient,说版本不兼容，报错找不到hive-site，搜索后再在sqoop-env.sh中添加export HIVE_CONF_DIR=/usr/local/hive/conf，最后报错）

4.1.3 RDBMS 到 Hbase

启动hbase

cd /usr/local/hbase
./bin/start-hbase.sh //启动HBase
./bin/hbase shell  //启动hbase shell
list

$ bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 000000 \
--table company \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

提示： sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自动创建 HBase 表的功能
解决方案：手动创建 HBase 表

(5) 在 HBase 中 scan 这张表得到如下内容
hbase删表命令

disable tab_name;
drop tab_name;

hbase> scan 'hbase_company'

4.2、导出数据

在 Sqoop 中，“导出”概念指：从大数据集群（HDFS， HIVE， HBASE）向非大数据集群
（RDBMS）中传输数据，叫做：导出，即使用 export 关键字。

4.2.1 HIVE/HDFS 到 RDBMS

$ bin/sqoop export \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password root\
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示： Mysql 中如果表不存在，不会自动创建

4.3 脚本打包

使用 opt 格式的文件打包 sqoop 命令，然后执行

1. 创建一个.opt 文件

$ mkdir job
$ vi job/sqp.opt

2. 编写 sqoop 脚本

export
--connect
jdbc:mysql://localhost:3306/company
--username
root
--password
root
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

3. 执行该脚本

$ bin/sqoop --options-file job/sqp.opt

参考资料：https://www.bilibili.com/video/BV1jb411A7tc?p=1