关闭

Apache Flume 分布式日志收集系统学习

242人阅读 评论(0) 收藏 举报
分类:

初步学习Apache Flume ,从两个方面总结。

第一方面:Apache Flume 有两个版本 Flume 0.9x和 Flume NG(new generation),Flume NG是对传统的Apache Flume的精简,去掉了 Master 和Collector两种角色,只保留了Agent 一种角色。数据流(Data Flow)描述了日志数据从产生,传输,处理到最后写入目的地的路径,它是 Flume 的最抽象模型。



Flume 数据流模型


第二方面:为了有效的手机日志,系统实施时候需要在每个手机日志的服务器上安装相同版本的  Flume NG ,由于不同的网站选取的Web  server不同,为了对数据有效的收集,需要对每类设定一个或者多个 Agent,对收集的不同数据进行不同的处理。


基于 Flume 的日志数据收集流程


1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:22537次
    • 积分:529
    • 等级:
    • 排名:千里之外
    • 原创:31篇
    • 转载:11篇
    • 译文:0篇
    • 评论:2条
    最新评论