fluentd tail mysql_fluentd日志处理-安装配置（一）

简介：这个是一个很好的日志搜集处理工具，它的性能会比logstash提升许多，重点在于通过这个工具，会把日志处理所消耗的资源很大程度上的降低，logstash通过JVM来运行，而fluentd完全不需要，也不会出现logstashCPU和内存占用过高的情况，通过我的测试，docker的CPU占用在1%左右，内存占用60MB左右，对主机的资源的消耗很小。是一个非常不错的日志收集工具。

主机安装td-agent

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

yum remove 应用名

docker命令总结

执行这条命令拉取docker images，并运行

docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd

docker exec -it cd499192c2a3 /bin/sh

安装rubygems库

这里主要是升级一下ruby库和安装基础的依赖包

buildDeps="sudo make gcc g++ libc-dev ruby-dev" \

&& apt-get update \

&& apt-get install -y --no-install-recommends $buildDeps \

&& sudo gem install \

fluent-plugin-elasticsearch \

对安装的软件包做一下清除，可以减小images的大小

sudo gem sources --clear-all \

&& SUDO_FORCE_REMOVE=yes \

apt-get purge -y --auto-remove \

-o APT::AutoRemove::RecommendsImportant=false \

$buildDeps \

&& rm -rf /var/lib/apt/lists/* \

/home/fluent/.gem/ruby/2.3.0/cache/*.gem

apt-get update

apt-get install rubygems build-essential

安装插件

我们需要ES、S3、geoip、rewrite-tag-filter

gem install fluent-plugin-elasticsearch

gem install fluent-plugin-s3

gem install fluent-plugin-rewrite-tag-filter

gem install fluent-plugin-multi-format-parser

fluent-gem install fluent-plugin-multi-format-parser

fluentd安装geoip时，必须安装“libmaxminddb”，先把依赖包安装好后，geoip就能装上了。

apk add --update --virtual .build-deps sudo build-base ruby-dev

apk add --no-cache geoip geoip-dev libmaxminddb

apk add automake autoconf libtool

/usr/bin/gem install fluent-plugin-geoip

gem install geoip2_c

geoip数据库的安装

cd /home/ec2-user/Fluentd/plugin

wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

gunzip GeoLiteCity.dat.gz