Apache Sqoop详细教程

Apache Sqoop

1. sqoop 介绍

Apache Sqoop 是在Hadoop 生态体系和RDBMS 体系之间传送数据的一种工具。来自于Apache软件基金会提供。

Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

Hadoop生态系统包括：HDFS、Hive、Hbase等

RDBMS体系包括：Mysql、Oracle、DB2等

Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

站在Apache立场看待数据流转问题，可以分为数据的导入导出:

Import：数据导入。RDBMS----->Hadoop

Export：数据导出。Hadoop---->RDBMS

2. sqoop下载安装

• 下载地址：下载链接
• 适用版本 ：自选
• 配置文件修改

cd $SQOOP_HOME/conf

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5 

export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.7.5

export HIVE_HOME= /export/servers/hive

-- 加入mysql的jdbc驱动包

cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/

验证启动
在sqoop安装目录执行：

bin/sqoop list-databases \

 --connect jdbc:mysql://localhost:3306/ \

 --username root --password hadoop

上述命令会列出所有的mysql的数据库，到这里整个Sqoop安装工作完成。

3. Sqoop 导入

导入单个表从RDBMS到HDFS,表中的每一行被视为HDFS的记录，所有的记录都存储为文本文件的文本数据。

1. 全量导入MySQL表数据到HDFS

bin/sqoop import \
--connect jdbc:mysql://192.168.182.2:3306/testdb(库名) \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop(目标路径目录) \
--table emp(表名)
--m 1
--fields-terminated-by '\t'(来指定分隔符)

为了验证在HDFS导入的数据，使用命令进行查看

hdfs dfs -cat /sqoop/part-m-0000

2. 全量导入MySQL表数据到HIVE

bin/sqoop import \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password 123456 \

--table emp_conn \

--hive-import \

--m 1 \

--hive-database test(HIVE库名);

3. 导入数据表子集（where过滤）

– where 可以指定从关系数据库导入数据时的查询条件。它执行在数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。

bin/sqoop import \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password 123456 \

--where "city ='beijing'" \

--target-dir /wherequery \

--table emp_add --m 1

4. 导入表数据子集（query查询）

注意事项：

使用query sql语句来进行查找不能加参数–table ;

并且必须要添加where条件;

并且where条件后面必须带一个$CONDITIONS 这个字符串;

并且这个sql语句必须用单引号，不能用双引号;

bin/sqoop import \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password root \

--target-dir /wherequery12 \

--query 'select id,name,deg from emp WHERE  id>1203 and $CONDITIONS' \

--split-by id \

--fields-terminated-by '\t' \

--m 2

sqoop命令中，–split-by id 通常配合 -m 10 参数使用。用于指定根据哪个字段进行划分并启动多少个maptask。

5. 增量导入

在实际工作当中，数据的导入，很多时候都是只需要导入增量数据即可，并不需要将表中的数据每次都全部导入到hive或者hdfs当中去，这样会造成数据重复的问题。因此一般都是选用一些字段进行增量的导入， sqoop支持增量的导入数据。

增量导入是仅导入新添加的表中的行的技术。

– check-column (col)

用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似。

注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时-- check-column可以去指定多个列。

– incremental (mode)

append：追加，比如对大于last-value指定的值之后的记录进行追加导入。lastmodified：最后的修改时间，追加last-value指定的日期之后的记录

– last-value (value)

指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值

bin/sqoop import \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root  --password root \

--table emp --m 1 \

--target-dir /appendresult \

--incremental append \

--check-column id \

--last-value  1205

4. sqoop 导出

将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中。

export模式：

默认操作是从将文件中的数据使用INSERT语句插入到表中。

更新模式：Sqoop将生成UPDATE替换数据库中现有记录的语句。

1. 默认模式导出HDFS数据到mysql

默认情况下，sqoop export将每行输入记录转换成一条INSERT语句，添加到目标数据库表中。如果数据库中的表具有约束条件（例如，其值必须唯一的主键列）并且已有数据存在，则必须注意避免插入违反这些约束条件的记录。如果INSERT语句失败，导出过程将失败。此模式主要用于将记录导出到可以接收这些结果的空表中。通常用于全表数据导出。

导出时可以是将Hive表中的全部记录或者HDFS数据（可以是全部字段也可以部分字段）导出到Mysql目标表

bin/sqoop export \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password 123456 \

--table employee \

--export-dir /emp/emp_data

--input-fields-terminated-by '\t'

指定文件中的分隔符

--columns

选择列并控制它们的排序。当导出数据文件和目标表字段列顺序完全一致的时候可以不写。否则以逗号为间隔选择和排列各个列。没有被包含在–columns后面列名或字段要么具备默认值，要么就允许插入空值。否则数据库会拒绝接受sqoop导出的数据，导致Sqoop作业失败

--export-dir 导出目录，在执行导出的时候，必须指定这个参数，同时需要具备--table或--call参数两者之一，--table是指的导出数据库当中对应的表，

--call 是指的某个存储过程

2. 更新导出（updateonly模式）

-- 参数
-- update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
-- updatemod，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新记录。

bin/sqoop export \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password root \

--table updateonly \

--export-dir /updateonly_1/

3. 更新导出（allowinsert模式）

-- update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。

-- updatemod，指定allowinsert，更新已存在的数据记录，同时插入新记录。实质上是一个insert & update的操作。

bin/sqoop export \

--connect jdbc:mysql://192.168.109.1:3306/userdb \

--username root \

--password root \

--table allowinsert \

--export-dir /allowinsert_1/

如有错误，请各位批评指正！！！ 希望各位一键三联，感谢支持！！！