Flume
chipeize
这个作者很懒,什么都没留下…
展开
-
Hadoop生态圈之Flume(一)
1. 概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume在删除自己缓存的...原创 2019-08-29 20:19:46 · 587 阅读 · 0 评论 -
Hadoop生态圈之Flume(二)
Flume拦截器实战案例日志采集和汇总案例场景A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log现在要求:把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为:/source/logs/access/20160101/**...原创 2019-09-02 20:31:09 · 109 阅读 · 0 评论