伤心的驴的专栏

转自 http://dongxicheng.org/search-engine/log-systems/ 开源日志系统比较    1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支

Scribe+HDFS日志收集系统安装方法 1、概述 Scribe是facebook开源的日志收集系统，可用于搜索引擎中进行大规模日志分析处理。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理，具体可参见日文日志： http://d.hatena.ne.jp/tagomoris/touch/2011020