sqoop入门介绍

一、sqoop产生的背景

​ 灵感来于生活，开源来于需求

​ 解决传统型数据库到Hadoop数据之间的迁移，这样看来，在传统型数据库横行的时代，随着数据量的增大，要从传统型数据库往Hadoop迁移，就必须要有迁移的方案.当然，也得支持反向迁移，比如下图

二、学习它的理由

问题：首先思考一个问题，在企业刚开始使用大数据技术时，存在下面的问题

思考：以前用的都是关系型数据库，怎么把这些数据导入到hive或者hbase中去呢？

提示：当不知道怎么搞的时候，那么这里提供了一个解决方案

1、官方的解决方案

​ 官方的解决方案，它是hadoop的一个子项目，主要解决传统关系型数据库到Hadoop（hive、hbase）之间的数据传递

2、开源免费

不要钱的东西有时也很好用，它是一个开源项目，2012年成功从apache的孵化项目升级为一个顶级项目，稳定性也不用质疑

3、高效可控的利用资源

​ 它可以高效、可控地利用资源，可以通过调整任务数来控制任务的并发度。另外它还可以配置数据库的访问时间等等

4、自动完成数据类型映射和转换

​ 在关系型的数据库中，首先要定义的就是数据类型和结构，那么关系型数据库中的数据导入到Hadoop中，或者把Hadoop中的数据迁移到关系型数据库呢，数据类型怎么办？

​ sqoop可以自动根据数据库中的类型转换到 Hadoop 中，当然用户也可以自定义它们之间的映射关系

三、缺点

​ 它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出

四、版本比较

​ 大体上讲，有两个版本。分别为sqoop1和sqoop2

1、两者不兼容

​ sqoop1和sqoop2是两个不同的版本，它们是完全不兼容的

2、版本划分方式

​ 版本划分方式：Apache 1.4.x 之后的版本属于sqoop1，1.99.x之上的版本属于sqoop2

3、版本对比

​ 这里只讲sqoop2的优势：

​ 3.1 它引入的sqoop Server，便于集中化的管理Connector或者其它的第三方插件；

​ 3.2 多种访问方式：CLI、Web UI、REST API；

​ 3.3 它引入了基于角色的安全机制，管理员可以在sqoop Server上配置不同的角色。