简介:这个是一个很好的日志搜集处理工具,它的性能会比logstash提升许多,重点在于通过这个工具,会把日志处理所消耗的资源很大程度上的降低,logstash通过JVM来运行,而fluentd完全不需要,也不会出现logstashCPU和内存占用过高的情况,通过我的测试,docker的CPU占用在1%左右,内存占用60MB左右,对主机的资源的消耗很小。是一个非常不错的日志收集工具。
主机安装td-agent
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh
yum remove 应用名
docker命令总结
docker安装fluentd的官方文档
https://hub.docker.com/r/fluent/fluentd
执行这条命令拉取docker images,并运行
docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd
docker exec -it cd499192c2a3 /bin/sh
安装rubygems库
这里主要是升级一下ruby库和安装基础的依赖包
buildDeps="sudo make gcc g++ libc-dev ruby-dev" \
&& apt-get update \
&& apt-get install -y --no-install-recommends $buildDeps \
&& sudo gem install \
fluent-plugin-elasticsearch \
对安装的软件包做一下清除,可以减小images的大小
sudo gem sources --clear-all \
&& SUDO_FORCE_REMOVE=yes \
apt-get purge -y --auto-remove \
-o APT::AutoRemove::RecommendsImportant=false \
$buildDeps \
&& rm -rf /var/lib/apt/lists/* \
/home/fluent/.gem/ruby/2.3.0/cache/*.gem
apt-get update
apt-get install rubygems build-essential
安装插件
我们需要ES、S3、geoip、rewrite-tag-filter
gem install fluent-plugin-elasticsearch
gem install fluent-plugin-s3
gem install fluent-plugin-rewrite-tag-filter
gem install fluent-plugin-multi-format-parser
fluent-gem install fluent-plugin-multi-format-parser
fluentd安装geoip时,必须安装“libmaxminddb”,先把依赖包安装好后,geoip就能装上了。
apk add --update --virtual .build-deps sudo build-base ruby-dev
apk add --no-cache geoip geoip-dev libmaxminddb
apk add automake autoconf libtool
/usr/bin/gem install fluent-plugin-geoip
gem install geoip2_c
geoip数据库的安装
cd /home/ec2-user/Fluentd/plugin
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gunzip GeoLiteCity.dat.gz
Fluentd 日志处理-S3拉取日志处理(二)
https://blog.51cto.com/11078047/2316910
Fluentd日志处理-tail拉取(三)
https://blog.51cto.com/11078047/2316958
Fluentd日志处理-插件使用和调试问题(四)
https://blog.51cto.com/11078047/2320018
转载于:https://blog.51cto.com/11078047/2316881