一、背景
在实际开发场景中,数据需要在Hadoop和关系型数据库之间来回传输,可以使用Sqoop工具来实现。
例如,源数据存储在MySQL或者Oracle关系型数据库中,需要将源数据抽取到HDFS或者Hive中,又或者结果数据存储在HDFS或者Hive中,需要将结果数据加载到MySQL或者Oracle关系型数据库中,这些场景均可以由Sqoop工具实现。
数据抽取的时候涉及到两种方式,一种是全量抽取,另一种是增量抽取。
二、场景一:全量抽取
全量抽取理解起来比较简单,就是将数据库中的源数据直接全部抽取。
例:
源数据
执行抽取脚本
import
--connect
jdbc:mysql://master/sqoop_test
--username
root
--password
root
--query
"SELECT field_1,field_2,field_3 FROM sqoop_test.table_A where $CONDITIONS"
--target-dir
/user/hive/warehouse/sqoop_test_ods.db/table_a
--fields-terminated-by
"\t"
--delete-target-dir
-m
1
查询结果