Fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方。
目前开源社区已经贡献了下面一些存储插件:MongoDB, Redis, CouchDB,AmazonS3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl等等。
安装
可参考http://docs.fluentd.org/categories/installation安装
此版本采用: Installingtd-agent for Redhat and CentOS
http://docs.fluentd.org/articles/install-by-rpm
Fluentd 是由Ruby和C编写的,需要ruby进行,然而安装td-agent 是fluentd 的易安装版本,不用考虑太多的依赖关系。
1.首先please create /etc/yum.repos.d/td.repo with the followingcontents.
[treasuredata]
name=TreasureData
baseurl=http://packages.treasure-data.com/redhat/$basearch
gpgcheck=0
Then,you can install via yum command.
2. $ yumupdate
$ yuminstall td-agent
3. 安装完成后,可使用以下方式启动关闭服务。
$ /etc/init.d/td-agent start
$ /etc/init.d/td-agent stop
$/etc/init.d/td-agent restart
4. 默认的 /etc/td-agent/td-agent.conf
为td-agent的配置文件
/var/log/td-agent/td-agent.log
为td-agent的日志文件
5. 查看td-agent的安装
6.查看ruby fluent插件的列表:ruby的安装路径在/usr/lib64/fluent/ruby/
fluent-plugin-tail-ex与fluent-plugin-tail-multiline为后期安装的插件,其他的为安装td-agent后默认安装的插件。
fluent-plugin-tail-ex:为输入扩展插件,支持对文件路径、日期的扩展
fluent-plugin-tail-multiline:为输入扩展插件,支持多行数据的收集,能够更好的收集异常信息。
5. 插件安装
Fluent插件地址http://fluentd.org/plugin/
两种安装方法:
1) 可以本地安装,下载gem安装包 https://rubygems.org/gems,推荐此方法
2) ruby库远程安装
两种方法的安装命令为:$ /usr/lib64/fluent/ruby/bin/gem install 插件名称
6. 配置
首先我们编辑配置文件/etc/td-agent/td-agent.conf 中的source来设置日志来源