利用fluentd构建分布式日志管理系统

如何有效地收集和管理大量服务器的日志一直是企业很头疼的一个问题，部分企业应用shell脚本来管理，部分企业基于hadoop来开发自己的日志管理系统，第一种管理成本巨大，需要大量的人力来维护脚本的正常运行，第二种研发成本高昂，那么如何才能降低这两方面的成本呢。

下面我们来介绍fluentd这种分布式日志管理系统，希望大家在了解之后，能得出自己的答案。
首先我们需要一台装有mongodb的服务器用于存储相关的日志，并在需要收集日志的服务器上安装fluentd，安装过程极其简单，例如在redhat上运行如下命令即可。
curl -L http://toolbelt.treasuredata.com/sh/install-redhat.sh | sh
启动相关的服务/etc/init.d/td-agent start
改写相关的配置文件以适应生产网络的情况，这里以我开发的waf系统的日志为例。

<match nginx.waf>
type mongo
host 127.0.0.1
port 27017
database fluentd
collection waf

capped
capped_size 1024m

user fluentd
password fluentd

flush_interval 10s
</match>

<source>
type tail
path /var/log/waf/waf.log
pos_file /var/log/td-agent/waf.log.pos
tag nginx.waf
format /^\[(?<module>[^\]]*)\] (?<remote>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*) +\S*)?" "(?<agent>[^\"]*)"$/
time_format %Y-%m-%d %H:%M:%S
</source>

format中需要撰写形如(?<>PATTERN)的正则表达式，其中<>中的名字将作为mongodb中存储的字段名，这里将我系统中的例子作为演示。

{ "_id" : ObjectId("534f80cde13823146d000002"), "module" : "BLOCK_URL_MODULE", "remote" : "10.0.2.2", "method" : "GET", "path" : "/echo?dnwair8!_*", "agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36", "time" : ISODate("2014-04-17T07:20:44Z") }
{ "_id" : ObjectId("534f80d8e13823146d000003"), "module" : "BLOCK_URL_MODULE", "remote" : "10.0.2.2", "method" : "GET", "path" : "/echo?dn;kdowkoko*", "agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36", "time" : ISODate("2014-04-17T07:20:49Z") }
{ "_id" : ObjectId("534f80d8e13823146d000004"), "module" : "BLOCK_URL_MODULE", "remote" : "10.0.2.2", "method" : "GET", "path" : "/echo?dn;kd@(*", "agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36", "time" : ISODate("2014-04-17T07:20:52Z") }

其实还可以将日志直接输出到fluentd中去。
fluentd为Ruby, Java, Python, PHP, Perl, Node.js, Scala提供了相关的库，这里我们以python为例说明。
在fluentd的配置中加入如下配置：

<source>
type forward
port 24224
</source>

<match fluentd.test.**>
type stdout
</match>

安装相关的fluentd相关的python库：
pip install fluent-logger
编写测试代码：

from fluent import sender
from fluent import event
sender.setup('fluentd.test', host='localhost', port=24224)
event.Event('follow', {
    'from': 'userA',
    'to': 'userB'
})

运行测试代码：
python test.py
你将会在/var/log/td-agent/td-agent.log中查看到相关日志：
2014-04-17 03:33:56 -0400 fluentd.test.follow: {"to":"userB","from":"userA"}

作者：Hevienz
出处：http://www.cnblogs.com/hymenz/