sqoop的原理

何为Sqoop？

Sqoop(SQL-to-Hadoop)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。

为什么需要用Sqoop？

我们通常把有价值的数据存储在关系型数据库系统中，以行和列的形式存储数据，以便于用户读取和查询。但是当遇到海量数据时，我们需要把数据提取出来，通过MapReduce对数据进行加工，获得更符合我们需求的数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。为了能够和HDFS系统之外的数据库系统进行数据交互，MapReduce程序需要使用外部API来访问数据，因此我们需要用到Sqoop。

sqoop原理：

sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop，sqoop将导入或导出命令翻译成MapReduce程序来实现，在翻译出的MapReduce 中主要是对InputFormat和OutputFormat进行定制。

sqoop的导入导出原理：

数据导入：

sqoop工具是通过MapReduce进行导入作业的。总体来说，是把关系型数据库中的某张表的一行行记录写入hdfs中。

具体流程：

1. sqoop会通过jdbc来获取需要的数据库的元数据信息，例如：导入的表的列名，数据类型。
2. 这些数据库的数据类型会被映射成为java的数据类型，根据这些信息，sqoop会生成一个与表名相同的类用来完成序列化工作，保存表中的每一行记录。
3. sqoop开启MapReduce作业
4. 启动的作业在input的过程中，会通过jdbc读取数据表中的内容，这时，会使用sqoop生成的类进行序列化。
5. 最后将这些记录写到hdfs上，在写入hdfs的过程中，同样会使用sqoop生成的类进行反序列化。

 数据导出：

1. 首先sqoop通过jdbc访问关系型数据库获取需要导出的信息的元数据信息
2. 根据获取的元数据信息，sqoop生成一个Java类，用来承载数据的传输，该类必须实现序列化
3. 启动MapReduce程序
4. sqoop利用生成的这个类，并行从hdfs中获取数据
5. 每个map作业都会根据读取到的导出表的元数据信息和读取到的数据，生成一批insert 语句，然后多个map作业会并行的向MySQL中插入数据。

 附言：

sqoop官网：Sqoop User Guide (v1.4.7) (apache.org)