Hadoop生态圈之Sqoop（一）

最新推荐文章于 2023-06-30 17:58:52 发布

chipeize

最新推荐文章于 2023-06-30 17:58:52 发布

阅读量465

点赞数 1

分类专栏：大数据 Sqoop

本文链接：https://blog.csdn.net/chipeize/article/details/100876883

版权

大数据同时被 2 个专栏收录

30 篇文章 0 订阅

订阅专栏

Sqoop

1 篇文章 0 订阅

订阅专栏

Apache Sqoop 介绍

Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具

Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

Hadoop 生态系统包括： HDFS、 Hive、 Hbase 等
RDBMS 体系包括： Mysql、 Oracle、 DB2 等

Sqoop 可以理解为： “SQL 到 Hadoop 和 Hadoop 到 SQL”

Import：数据导入。 RDBMS----->Hadoop
Export：数据导出。 Hadoop---->RDBMS

Sqoop 导入

下面语法用于将数据导入 HDFS

$ sqoop import (generic-args) (import-args)

1. 全量导入 mysql 表数据到 HDFS

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \    // 使用 ip 地址
--username root \
--password 1234 \
--delete-target-dir \
--target-dir /sqoopresult \    // 用来指定导出数据存放至 HDFS 的目录
--fields-terminated-by '\t' \   // 指定分隔符
--table emp --m 1

2. 全量导入 mysql 表数据到 Hive

方式一：先复制表结构到 hive 中再导入数据

将关系型数据的表结构复制到 hive 中

bin/sqoop create-hive-table \
--connect jdbc:mysql://node01:3306/sqoopdb \
--table emp_add \        // mysql 中的数据库 sqoopdb 中的表
--username root \
--password 1234 \
--hive-table test.emp_add_sp        // hive 中新建的表名称

从关系数据库导入文件到 hive 中

bin/sqoop import \
--connect jdbc:mysql://node01:3306/sqoopdb \
--username root \
--password 1234 \
--table emp_add \
--hive-table test.emp_add_sp \
--hive-import \
--m 1

方式二：直接复制表结构数据到 hive 中

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--table emp_conn \
--hive-import \
--m 1 \
--hive-database test;

3. 导入表数据子集（where 过滤）

bin/sqoop import \
--connect jdbc:mysql://node01:3306/sqoopdb \
--username root \
--password 1234 \
--where "city ='sec-bad'" \        // where 可以指定从关系数据库导入数据时的查询条件
--target-dir /wherequery \
--table emp_add --m 1

4. 导入表数据子集（query 查询）

【注意】

使用 query sql 语句来进行查找不能加参数——table；
并且必须要添加 where 条件；
并且 where 条件后面必须滴啊一个 $CONDITIONS 这个字符串；
并且这个 sql 语句继续用单引号，不能用双引号

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--target-dir /wherequery12 \
--query 'select id,name,deg from emp WHERE id>1203 and $CONDITIONS' \
--split-by id \        // 通常配合 -m 10 参数使用，用于指定根据哪个字段进行划分并启动多少个 maptask
--fields-terminated-by '\t' \
--m 2

5. 增量导入

--check-column (col)
用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似。
--incremental (mode)
append：追加，比如对大于 last-value 指定的值之后的记录进行追加导入。
lastmodified：最后的修改时间，追加 last-value 指定的日期之后的记录
--last-value (value)
指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值

5.1 Append 模式增量导入

先将我们之前的数据导入

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--target-dir /appendresult \
--table emp --m 1

然后在 mysql 的 emp 中插入 2 条增量数据

insert into `userdb`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) values ('1206', 'allen',
'admin', '30000', 'tp');
insert into `userdb`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) values ('1207', 'woon',
'admin', '40000', 'tp');

实现增量的导入

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root --password 1234 \
--table emp --m 1 \
--target-dir /appendresult \
--incremental append \
--check-column id \
--last-value 1205

5.2 Lastmodified 模式导入

首先创建一个 customer 表，指定一个时间戳字段：

create table customertest(id int,name varchar(20),last_mod timestamp default current_timestamp on update current_timestamp);

插入记录

insert into customertest(id,name) values(1,'neil');
insert into customertest(id,name) values(2,'jack');
insert into customertest(id,name) values(3,'martin');
insert into customertest(id,name) values(4,'tony');
insert into customertest(id,name) values(5,'eric');

将数据导入 hdfs

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--target-dir /lastmodifiedresult \
--table customertest --m 1

再插入一条数据

insert into customertest(id,name) values(6,'james')

使用 incremental 的方式进行增量的导入

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-05-28 18:42:06" \
--m 1 \
--append

Sqoop 导出

将数据从 Hadoop 生态体系导出到 RDBMS 数据库前，目标表必须存在于目标数据库中

export 有三种模式：

默认操作是从将文件中的数据使用 INSERT 语句插入到表中。
更新模式： Sqoop 将生成 UPDATE 替换数据库中现有记录的语句。
调用模式： Sqoop 将为每条记录创建一个存储过程调用

以下是 export 命令语法：

$ sqoop export (generic-args) (export-args)

1. 默认模式导出 HDFS 数据到 mysql

默认情况下， sqoop export 将每行输入记录转换成一条 INSERT 语句，添加到目标数据库表中。如果数据库中的表具有约束条件（例如，其值必须唯一的主键列）并且已有数据存在，则必须注意避免插入违反这些约束条件的记录。如果INSERT 语句失败，导出过程将失败。

此模式主要用于将记录导出到可以接收这些结果的空表中。通常用于全表数据导出。

1.1 准备 HDFS 数据

在 HDFS 文件系统中“/emp/”目录的下创建一个文件 emp_data.txt：

1201,gopal,manager,50000,TP
1202,manisha,preader,50000,TP
1203,kalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
1206,satishp,grpdes,20000,GR

1.2 手动创建 mysql 中的目标表

mysql> USE userdb;
mysql> CREATE TABLE employee (
    id INT NOT NULL PRIMARY KEY,
    name VARCHAR(20),
    deg VARCHAR(20),
    salary INT,
    dept VARCHAR(10));

1.3 执行导出命令

bin/sqoop export \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--table employee \
--export-dir /emp/emp_data

1.4 相关配置参数

--input-fields-terminated-by '\t' 指定文件中的分隔符
--columns 选择列并控制它们的排序。当导出数据文件和目标表字段列顺序完全一致的时候可以不写。否则以逗号为间隔选择和排列各个列。
--export-dir 导出目录，在执行导出的时候，必须指定这个参数，同时需要具备--table 或--call 参数两者之一
--table 是指的导出数据库当中对应的表
--call 是指的某个存储过程
--input-null-string --input-null-non-string 如果没有指定第一个参数，对于字符串类型的列来说，“NULL”这个字符串就回被翻译成空值，如果没有使用第二个参数，无论是“NULL”字符串还是说空字符串也好，对于非字符串类型的字段来说，这两个类型的空串都会被翻译成空值。

2. 更新导出（updateonly 模式）

2.1 参数说明

-- update-key，更新标识，即根据某个字段进行更新，例如 id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
-- updatemod，指定 updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录

2.2 准备 HDFS 数据

在 HDFS “/updateonly_1/”目录的下创建一个文件 updateonly_1.txt：

1201,gopal,manager,50000
1202,manisha,preader,50000
1203,kalil,php dev,30000

2.3 手动创建 mysql 中的目标表

mysql> USE userdb;
mysql> CREATE TABLE updateonly (
    id INT NOT NULL PRIMARY KEY,
    name VARCHAR(20),
    deg VARCHAR(20),
    salary INT);

2.4 先执行全部导出操作

bin/sqoop export \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--table updateonly \
--export-dir /updateonly_1/

2.5 新增一个文件

创建一个文件：updateonly_2.txt 。修改了前三条数据并且新增了一条记录。上传至 /updateonly_2/目录下：

1201,gopal,manager,1212
1202,manisha,preader,1313
1203,kalil,php dev,1414
1204,allen,java,1515

2.6 执行更新导出

bin/sqoop export \
--connect jdbc:mysql://node01:3306/userdb \
--username root --password 1234 \
--table updateonly \
--export-dir /updateonly_2/ \
--update-key id \
--update-mode updateonly

3. 更新导出（allowinsert 模式）

3.1 参数说明

-- update-key，更新标识，即根据某个字段进行更新，例如 id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
-- updatemode，指定 allowinsert，更新已存在的数据记录，同时插入新纪录。实质上是一个 insert & update 的操作

3.2 准备 HDFS 数据

在 HDFS “/allowinsert_1/”目录的下创建一个文件 allowinsert_1.txt：

1201,gopal,manager,50000
1202,manisha,preader,50000
1203,kalil,php dev,30000

3.3 手动创建 mysql 中的目标表

mysql> USE userdb;
mysql> CREATE TABLE allowinsert (
    id INT NOT NULL PRIMARY KEY,
    name VARCHAR(20),
    deg VARCHAR(20),
    salary INT);

3.4 先全部导出

bin/sqoop export \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 1234 \
--table allowinsert \
--export-dir /allowinsert_1/

3.5 新增一个文件

创建一个文件：allowinsert_2.txt 。修改了前三条数据并且新增了一条记录。上传至 /allowinsert_2/目录下：

1201,gopal,manager,1212
1202,manisha,preader,1313
1203,kalil,php dev,1414
1204,allen,java,1515

3.6 执行更新导出

bin/sqoop export \
--connect jdbc:mysql://node01:3306/userdb \
--username root --password 1234 \
--table allowinsert \
--export-dir /allowinsert_2/ \
--update-key id \
--update-mode allowinsert

Sqoop job 作业

1. job 语法

$ sqoop job (generic-args) (job-args)
    [-- [subtool-name] (subtool-args)]
$ sqoop-job (generic-args) (job-args)
    [-- [subtool-name] (subtool-args)]

2. 创建 job

在这里，我们创建一个名为 itcastjob，这可以从 RDBMS 表的数据导入到HDFS 作业

bin/sqoop job --create itcastjob -- import --connect jdbc:mysql://node0
1:3306/userdb \
--username root \
--password hadoop \
--target-dir /sqoopresult333 \
--table emp --m 1

【注意】import 前面要空格，不要和 -- 连在一起写

3. 验证 job

‘--list’ 参数是用来验证保存的作业。下面的命令用来验证保存 Sqoop 作业的列表

bin/sqoop job --list

4. 检查 job

‘--show’ 参数用于检查或验证特定的工作，及其详细信息。以下命令和样本输出用来验证一个名为 itcastjob 的作业

bin/sqoop job --show itcastjob

5. 执行 job

‘--exec’ 选项用于执行保存的作业。下面的命令用于执行保存的作业称为 itcastjob

bin/sqoop job --exec itcastjob

6. 免密执行 job

sqoop 在创建 job 时，使用--password-file 参数，可以避免输入 mysql 密码，如果使用--password 将出现警告，并且每次都要手动输入密码才能执行 job，sqoop规定密码文件必须存放在 HDFS 上，并且权限必须是 400。
并且检查 sqoop 的 sqoop-site.xml 是否存在如下配置：

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>