sqoop原理

sqoop的产生：

关系型数据库的数据与非关系型数据库中(Hadoop的hdfs)大量数据的迁移，

sqoop是连接关系型数据库和hadoop的桥梁

 

 

 

sqoop原理：

sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop，

sqoop将导入或导出命令翻译成MapReduce程序来实现，在翻译出的MapReduce 中主要是对InputFormat和OutputFormat进行定制。

sqoop的导入导出原理：

数据导入：

sqoop工具是通过MapReduce进行导入作业的。总体来说，是把关系型数据库中的某张表的一行行记录写入hdfs中。

具体流程：

 

• sqoop会通过jdbc来获取需要的数据库的元数据信息，例如：导入的表的列名，数据类型。
• 这些数据库的数据类型会被映射成为java的数据类型，根据这些信息，sqoop会生成一个与表名相同的类用来完成序列化工作，保存表中的每一行记录。
• sqoop开启MapReduce作业
• 启动的作业在input的过程中，会通过jdbc读取数据表中的内容，这时，会使用sqoop生成的类进行序列化。
• 最后将这些记录写到hdfs上，在写入hdfs的过程中，同样会使用sqoop生成的类进行反序列化。

数据导出：

 

• 首先sqoop通过jdbc访问关系型数据库获取需要导出的信息的元数据信息
• 根据获取的元数据信息，sqoop生成一个Java类，用来承载数据的传输，该类必须实现序列化
• 启动MapReduce程序
• sqoop利用生成的这个类，并行从hdfs中获取数据
• 每个map作业都会根据读取到的导出表的元数据信息和读取到的数据，生成一批insert 语句，然后多个map作业会并行的向MySQL中插入数据。