Sqoop是SQL-to-Hadoop的工具，作为连接传统数据库与Hadoop的桥梁，实现数据高效传输。它支持多种数据库，具备数据类型映射转换功能，并可通过调整任务数控制并发度。尽管 Sqoop2引入了更先进的管理和安全机制，但许多企业仍选择稳定且能满足基本需求的Sqoop1。在Hadoop生态中，Sqoop用于数据导入导出，其原理包括根据split-by参数进行数据切分和MapReduce任务分配。
Sqoop 产生背景
1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。
2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。
1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理
2）hadoop中的数据导入传统数据库，可利用强大的sql进一步分析和展示。
什么是Sqoop
1、sqoop 名字的来源：SQL-to-Hadoop
2、我们可以把它看做成连接传统数据库和Hadoop的桥梁
1）把关系型数据库中的数据导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase
2）把hadoop中的数据抽取出来，导入到关系型数据库中
3、它的设计思想就是：利用MapReduce加快数据传输速度
Sqoop 的优势
1、sqoop可以高效的可控的利用资源，比如它可以通过调整任务数，来控制任务的并发度，另外还可以配置数据库的访问时间等等
2、sqoop能自动的完成数据类型的映射与转换
3、它支持多种数据库，比如mysql oracle，postgresql
Sqo
最低0.47元/天 解锁文章
扫一扫
795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
