2020-09-28【学习笔记】【企业数据湖】五、基于Apache Sqoop的批量数据获取（2）

六、sqoop运行范例

暂不介绍，请参考相关博客

七、适合使用sqoop的场景

HDFS作为主要的数据存储手段，用于存储来自于各不同源系统的数据。

对于RDBMS与Hadoop数据传输，例如常规的批处理，或近似批处理，比较适合

从MongoDB，Cassandra之类的NoSQL数据库传输数据到Hadoop文件系统中

拥有大量依赖关系数据库的应用软件的企业，sqoop是数据传输的最佳选择

Hadoop是一个存储海量数据的事实上的标准。

如果需要考虑传输性能时，适合使用sqoop

sqoop中有connector的概念，如果企业中有多种不同的依赖不同的数据库的应用程序，sqoop是一个理想的选择

八、不适合sqoop的场景

事件驱动型数据

多源流式数据的处理与传输

处理实时数据而不是批处理

处理宿主在web服务器上的各种应用程序产生的日志形式的数据

如果当sqoop job执行时，源系统不能承受较大的压力，那么应避免使用sqoop

九、实时sqoop是否可行

不推荐使用，用flume+kafka它不香吗？

十、其他选项

1、原生大数据connector

2、Talend（开源etl开发，调度，监控工具）

3、Pentaho Kettle（PDI-Pentaho数据集成）开源商业智能软件