SQOOP同步数据原理

1 SQOOP作用

简单一句话概括就是sqoop是用来各个数据库之间进行数据迁移使用的。Sqoop作为数据传输的桥梁，通过定义MapReduce的InPutFormat和OutPutFormat来对接源存储和目的存储。

2 基本原理

（1）整个Sqoop的迁移过程，都会对应着一个MapReduce作业，实际上只有Map阶段，没有reduce阶段，而迁移大致分为5个部分，如下所示。

• 「Initializer」：整个Sqoop迁移的初始化阶段，完成迁移前的准备工作，如连接数据源，创建临时表，添加依赖的jar包等。
• 「Partitioner」：源数据分片，根据作业并发数来决定源数据要切分多少片。
• 「Extractor」：开启extractor线程，内存中构造数据写入队列之中；
• 「Loader」：开启loader线程，从队列中读取数据并写入对应后端；
• 「Destroyer」：整个迁移的收尾工作，断开sqoop与数据源的连接，完成资源回收；

 （2）流程解析

•    1） 当迁移任务启动后，首先会进入初始化部分，使用JDBC检查导入的数据表，检索出表中的所有列以及列的数据类型，并将这些数据类型映射为Java数据类型，在转换后的MapReduce应用中使用这些对应的Java类型来保存字段的值，在每次Sqoop的任务执行时，代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录，即xxxx.java文件。
•   2）Partitioner会根据--split-by或者-m指定整个任务的分片数量，如不指定默认是4个分片(每一个partition对应着一个Mapper),然后编译成一个本地Jar包用于提交MapReduce作业。
•   3）当任务提交到集群后，每个Mapper会分别启动一个Extractor线程和Loader线程，整个MapReduce的InputFormat实际上是通过JDBC读取原端数据写入到Context中，而Loader线程将从Context中读出写入对应的数据作为OutPutFormat迁移的目的端。
•   4）当任务执行完成后，yarn资源释放，随之Destroyer回收所有与数据源的连接。