sqoop的快速入门10

一、Sqoop简介

引入sqoop

HDFS <=> mysql、oracle等关系数据库.

Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。最新的稳定版本是1.4.7。

二、Sqoop原理

将导入或导出命令翻译成Mapreduce程序来实现。
在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制。
注意：sqoop的底层mr是没有reducetask的，因为它不需要合并

三、Sqoop安装

安装Sqoop的前提是已经具备Java和Hadoop的环境。
解压
[root@hadoop003 software]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

重命名
[root@hadoop003 module]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

修改配置文件
sqoop根目录下的conf目录中
[root@hadoop003 conf]# mv sqoop-env-template.sh sqoop-env.sh

修改配置文件
[root@hadoop003 conf]# vim sqoop-env.sh

添加配置
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
拷贝JDBC驱动（因为要和mysql连接交互）
拷贝jdbc驱动到sqoop的lib目录下
[root@hadoop003 conf]# cp /opt/module/hive/lib/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6/lib/

验证Sqoop
[root@hadoop003 sqoop-1.4.6]# bin/sqoop help

测试Sqoop是否能够成功连接数据库
$ bin/sqoop list-databases --connect jdbc:mysql://hadoop003:3306/ --username root --password 000000
输出结果如下：
伴随警告信息

四、Sqoop的简单使用案例

导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

1.RDBMS到HDFS

1. 确定Mysql服务开启正常
2. 在Mysql中新建一张表并插入一些数据

create database company character set utf8;
create table company.staff(id int(4) primary key  auto_increment, name varchar(255), sex varchar(255)) character set utf8;
insert into company.staff(name, sex) values('Thomas', 'Male');
insert into company.staff(name, sex) values('Catalina', 'FeMale');
insert into company.staff(name, sex) values('张三', 'FeMale');
insert into company.staff(name, sex) values('张4', 'FeMale');
insert into company.staff(name, sex) values('张5', 'FeMale');
insert into company.staff(name, sex) values('张6', 'FeMale');
insert into company.staff(name, sex) values('张7', 'FeMale');
insert into company.staff(name, sex) values('张8', 'FeMale');
insert into company.staff(name, sex) values('张9', 'FeMale');
insert into company.staff(name, sex) values('张10', 'FeMale');

（1）全部导入

 bin/sqoop import \
--connect jdbc:mysql://hadoop003:3306/company \
--username root \
--password 000000 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

–table 指代的表永远都是mysql中的表，不是hive的表
–fields-terminated-by 是指向hdfs中写入文件时，文件中列之间的分隔符
如果指定num-mappers>1,那么需要同时配置split-by,以便程序进行maptask切片

bin/sqoop import \
--connect jdbc:mysql://hadoop003:3306/company \
--username root \
--password 000000 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 2 \
--split-by id \
--fields-terminated-by "\t"

（2）查询导入(查什么就导入什么)

$ bin/sqoop import \
--connect jdbc:mysql://hadoop003:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=3 and $CONDITIONS;'

提示：must contain ‘$CONDITIONS’ in WHERE clause。
因为我们可以指定多个maptask通过并行的方式来从mysql读取数据并导入hdfs，这个时候，可能第1个maptask读取前50条，第2个maptask读取50-100条，加上$CONDITIONS后，sqoop框架会将该变量赋值将任务拆分，便于各个maptask并行导入任务。
提示：–query选项，不能同时与–table选项使用。
因为query选择已经包含表名了，不再需要通过–table重复指定表名

（3）导入指定列

 bin/sqoop import \
--connect jdbc:mysql://hadoop003:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

2.RDBMS到Hive

bin/sqoop import \
--connect jdbc:mysql://hadoop003:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table db_hive.staff_hive

提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库
会自动创建hive表，但是需要提前把hive库创建好。

导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

HIVE/HDFS到RDBMS（本质都是从HDFS到RDBMS）

导出之前将mysql的数据先删除以便查看效果。(因为hdfs上是之前从mysql导入的，再次导出到mysql会出现数据重复，而mysql的主键唯一，会出错，所以先将mysql的数据删除。当然，我们可以增加新数据到hdfs，再导出到mysql，避免主键重复)
bin/sqoop export
–connect jdbc:mysql://hadoop003:3306/company
–username root
–password 000000
–table staff
–num-mappers 1
–export-dir /user/hive/warehouse/db_hive.db/staff_hive
–input-fields-terminated-by “\t”
提示：Mysql中如果表不存在，不会自动创建