![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据组件-数据采集
文章平均质量分 95
小天278
大数据组件分享,一起进步鸭!
展开
-
Flume安装部署及使用
Aapche Flume是由Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件,网址: http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume在删除自己缓存的数据。原创 2023-10-27 18:13:00 · 529 阅读 · 0 评论 -
Sqoop安装部署及使用
sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具;sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop and hadoop-->SQL数据导入导出:数据导入: RDBMS-->hadoop数据导出: hadoop-->RDBMS。原创 2023-10-27 17:06:29 · 491 阅读 · 1 评论