Apache Sqoop是什么

Sqoop介绍

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具,Apache软件基金会提供。
Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

Hadoop生态系统包括:HDFS、Hive、Hbase等
RDBMS体系包括:Mysql、Oracle、DB2等

Sqoop可以理解为:“SQL 到 Hadoop 和 Hadoop 到SQL”。

站在Apache立场看待数据流转问题,可以分为数据的导入导出:
Import:数据导入。RDBMS----->Hadoop
Export:数据导出。Hadoop---->RDBMS

RDBMS与DBMS

RDBMS是关系数据库管理系统。
DBMS是数据库管理系统,这个概念更大一些。

RDBMS强调relationship between tables. 即表与表之间是要有关系的。
而DBMS则可以不存在表与表之间的关系。

当然DBMS和RDBMS都可以用FK,只是对于RDBMS来说,FK是必须的,而且DBMS则不是。
(FK foreign key外键)
DBMS可以接受没有任何关系的数据,而RDBMS则只接受有关系的数据。
DBMS更加适用于小型的商业应用,即处理并不庞大的数据, 而RDBMS则是用来出来更加复杂的应用,即更庞大的数据,以及更多的数据关系。

ORACLE

ORACLE数据库系统是美国ORACLE公司(甲骨文)提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。

DB2

IBM DB2 是美国IBM公司开发的一套关系型数据库管理系统

发布了216 篇原创文章 · 获赞 182 · 访问量 7390
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览