Apache Flume 分布式日志收集系统学习

初步学习Apache Flume ,从两个方面总结。

第一方面:Apache Flume 有两个版本 Flume 0.9x和 Flume NG(new generation),Flume NG是对传统的Apache Flume的精简,去掉了 Master 和Collector两种角色,只保留了Agent 一种角色。数据流(Data Flow)描述了日志数据从产生,传输,处理到最后写入目的地的路径,它是 Flume 的最抽象模型。



Flume 数据流模型


第二方面:为了有效的手机日志,系统实施时候需要在每个手机日志的服务器上安装相同版本的  Flume NG ,由于不同的网站选取的Web  server不同,为了对数据有效的收集,需要对每类设定一个或者多个 Agent,对收集的不同数据进行不同的处理。


基于 Flume 的日志数据收集流程


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lihong1191/article/details/51558759
个人分类: 云计算
上一篇小算法:给定两个字符串,请编写程序,确定其中一个字符串的字符重新排列后,能否变成另一个字符串s首先
下一篇Zookeeper 安装和配置
博主设置当前文章不允许评论。

没有更多推荐了,返回首页

关闭
关闭