flume+elasticsearch

转自:https://i-blog.csdnimg.cn/blog_migrate/b7c89d3836ee096fe62d10017012957d.png

简单描述一下这个例子：将项目日志实时采集到elasticsearch，便于统一管理。

1. 收集日志格式为：

log4j.properties ： org.apache.log4j.Logger：   %d{ISO8601} [%l-%M]-[%p] %t %m%n

logback.xml ：org.slf4j.Logger：     %date [%logger:%L]-[%level] %thread %msg%n

2. flume 1.7.0 （flume搭建只需解压配置jdk即可，官网教程都有案例，http://flume.apache.org/FlumeUserGuide.html） 

     source：Taildir Source 

     channel： File Channel

     sinks：ElasticSearchSink 

3. elasticsearch1.7.5

Flume搭建：

1. 下载flume安装包并解压apache-flume-1.7.0-bin.tar.gz， http://flume.apache.org/download.html

2. 创建软连接 ln -s apache-flume-1.7.0-bin flume

3. 进入conf目录，cp flume-env.sh.template flume-env.sh