chukwa——apache 日志分析系统

一、概述

Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。

chukwa 的官方网站是这样描述自己的： chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在 hadoop 的 hdfs 和 map/reduce 框架之上的，继承了 hadoop 的可伸缩性和鲁棒性。Chukwa 还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。 在一些网站上，甚至声称 chukwa 是一个“日志处理/分析的full stack solution”。 说了这么多，你心动了吗？

二、架构

其中主要的部件为: 
　　1. agents : 负责采集最原始的数据,并发送给 collectors 
　　2. adaptor : 直接采集数据的接口和工具,一个 agent 可以管理多个 adaptor 的数据采集 
　　3. collectors 负责收集 agents 收送来的数据,并定时写入集群中 
　　4. map/reduce jobs 定时启动,负责把集群中的数据分类、排序、去重和合并 
　　5. HICC 负责数据的展示