flume
小小可凡
这个作者很懒,什么都没留下…
展开
-
flume理解
简介Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume 在删除自己缓存的数据。Flume ...原创 2019-02-15 15:52:33 · 346 阅读 · 0 评论 -
flume采集案例
1. 案例场景A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log现在要求:把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为:/source/logs/access/20160101/**/source/logs/nginx/2016010...原创 2019-02-15 16:08:09 · 693 阅读 · 0 评论