开源日志系统汇总，整理

Scribe: 是facebook开源的日志收集系统。它能够从各种日志源上收集日志，存储到一个中央存储系统(可以是NFS，分布式文件系统等)上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案.有scribe agent(收集)，scribe(接受数据，topic的数据发送给不同的对象。eg,hdfs)，存储系统组成(scribe支持非常多的store)。

chukwa:Apache的Chukwa,一个非常新的开源项目，由于其属于hadoop系列产品，因而使用了很多hadoop的组件（用HDFS存储，用mapreduce处理数据），它提供了很多模块以支持hadoop集群日志分析。

Flume:Flume是cloudera于2009年7月开源的日志系统。它内置的各种组件非常齐全，用户几乎不必进行任何额外开发即可使用。有agent，collector，storage

Kafka：LinkedIn的Kafka，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群，Kafka实际上是一个消息发布订阅系统。producer向某个topic发布消息，而consumer订阅某个topic的消息，进而一旦有新的关于某个topic的消息，broker会传递给订阅它的所有consumer。 在kafka中，消息是按topic组织的，而每个topic又会分为多个partition，这样便于管理数据和进行负载均衡。同时，它也使用了zookeeper进行负载均衡。消息持久化到硬盘，消息append末尾，默认消息保留7天。顺序读写。消费者状态保存在zookeeper上

参考:http://dongxicheng.org/search-engine/log-systems/