数据传输工具-Sqoop

一、背景

在实际开发场景中，数据需要在Hadoop和关系型数据库之间来回传输，可以使用Sqoop工具来实现。
例如，源数据存储在MySQL或者Oracle关系型数据库中，需要将源数据抽取到HDFS或者Hive中，又或者结果数据存储在HDFS或者Hive中，需要将结果数据加载到MySQL或者Oracle关系型数据库中，这些场景均可以由Sqoop工具实现。
数据抽取的时候涉及到两种方式，一种是全量抽取，另一种是增量抽取。

二、场景一：全量抽取

全量抽取理解起来比较简单，就是将数据库中的源数据直接全部抽取。
例：

源数据

执行抽取脚本

import
--connect
jdbc:mysql://master/sqoop_test
--username
root
--password
root
--query
"SELECT field_1,field_2,field_3 FROM sqoop_test.table_A where $CONDITIONS"
--target-dir
/user/hive/warehouse/sqoop_test_ods.db/table_a
--fields-terminated-by
"\t"
--delete-target-dir
-m
1

查询结果