yydcj的专栏

以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！1.分布式日志收集系统:背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

载自品友互动：http://www.ipinyou.com.cn/technicalnews/201112/Technical_6.htmlETL(Extraction, Transformation, and Load)是基于日志数据挖掘中的重要环节。现在Hadoop用于日志ETL的工具主要有Facebook的Scribe，Apache的Chukwa和Cloudera的Flume等等。

Installing CDH3https://ccp.cloudera.com/display/CDHDOC/CDH3+Installationwget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo -O /etc/yum.repos.d/cloudera.repo yum search hadoopyum -

Log4j 中阶应用 1. 把重要的业务日志异步批量写入数据库       配置文件示例: log4j.logger.business=INFO,db log4j.appender.db=org.apache.log4j.jdbc.JDBCAppender log4j.appender.db.BufferSize=10 log4j.appender.db.URL=jdb

日志打印字符串的结果，结果取决于转换模式。在转换模式，您可以自由插入任意文字。每个转换符开始于一个百分号（％），其次是可选的的格式修饰符和一个转换字符。转换字符指定的数据类型，如类别，优先级，日期，线程的名称。格式修饰符控制字段宽度，填充，左，右对齐这样的事情。需要注意的是没有明确的分隔符和文本之间的转换符。模式解析器知道什么时候已经结束的转换符时，它会读取一个转换字符。认可的转换字符

通过log4j可以实现将日志内容发送到其他服务器，其他机器可以再对日志做统一处理，比如发送邮件，发送短信，日志分析等等。具体demo如下：1. 客户端代码         客户端代码分为log4j的配置文件，和客户端记录log4j日志类        log4j.xml内容如下      [html] view plaincopy

一、介绍Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务 器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。Log4j由三个重要的组件构成：日志信息的优先级，日志信息的输出目的地，日志信息

项目中log4j在英文版linux下输出中文日志为乱码。由于log4j配置文件中没有设置编码格式(encoding)，所以log4j就使用系统默认编码。导致乱码。解决方法是设置编码格式UTF-8,方法为：log4j.appender.syslog.encoding=UTF-8（syslog为你的logger名称）这样就可以了。

Flume NG 1.x 是Flume 0.9.x的重构版本，基本面目全非了，Master和zookeeper没有了，collector没有了，Web console没有了，只有source （avro：很简单使用；exec：使用shell命令）sink （我用的hdfs）channl这3个组件，俨然从一个分布式系统变成了传输工具。新的架构如下：

（说明，名词对应解释 源-Source，接收器-Sink，通道-Channel）  配置   设置代理          Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。   配置

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩

在今年的5月22号，Flume-ng 1.5.0版本正式发布，关于Flume-ng 1.5.0版本的新特性可以参见本博客的《Apache Flume-ng 1.5.0正式发布》进行了解。关于Apache flume-ng 1.4.0版本的编译可以参见本博客《基于Hadoop-2.2.0编译flume-ng 1.4.0及错误解决》。本文将讲述如何用Maven编译Apache flume-ng