log4J日志收集（filebeat+logstash+Elasticsearch ）

一、说明

---

最近在学习logstash，发现内容特别多，除了基本的知识的学习以外，最多的就是插件的学习了，可是我看了下官网的插件，最新的版本6.3的插件展示如下：
- 输入插件(Input plugins)

beats,cloudwatch,couchdb_changes,dead_letter_queue,elasticse,rch,exec,file,ganglia,gelf,generator,github,google_pubsub,graphite,heartbeat,http,http_poller,imap,irc,jdbc,jms,jmx,kafka,kinesis,log4j,lumberjack,meetup,pipe,puppet_facter,rabbitmq,redis,relp,rss,s3,salesforce,snmptrap,sqlite,sqs,stdin,stomp,syslog,tcp,twitter,udp,unix,varnishlog,websocket,wmi,xmpp

• 输出插件（Output plugins）

boundary,circonus,cloudwatch,csv,datadog,datadog_metrics,elasticsearch,email,exec,file,ganglia,gelf,google_bigquery,graphite,graphtastic,http,influxdb,irc,juggernaut,kafka,librato,loggly,lumberjack,metriccatcher,mongodb,nagios,nagios_nsca,opentsdb,pagerduty,pipe,rabbitmq,redis,redmine,riak,riemann,s3,sns,solr_http,sqs,statsd,stdout,stomp,syslog,tcp,timber,udp,webhdfs,websocket,xmpp,zabbix

• 过滤插件（Output plugins）

aggregate,alter,cidr,cipher,clone,csv,date,de_dot,dissect,dns,drop,elapsed,elasticsearch,environment,extractnumbers,fingerprint,geoip,grok,i18n,jdbc_static,jdbc_streaming,json,json_encode,kv,metricize,metrics,mutate,prune,range,ruby,sleep,split,syslog_pri,throttle,tld,translate,truncate,urldecode,useragent,uuid,xml

• 编码插件（Codec plugins）

avro,cef,cloudfront,collectd,dots,edn,edn_lines,es_bulk,fluent,graphite,gzip_lines,json,json_lines,line,msgpack,multiline,netflow,nmap,plain,protobuf,rubydebug

特别补充：我对这个小demo进行了测试，发现一直获取不到日志，最后发现，logstash已经弃用了这个功能，只能说浪费了很多时间，新的版本是用的filebeat 从log4j那里获取日志！！
所以新的想法是，在客户端安装filebeats收集日志，发给logstash，在存入Elasticsearch ，最后展现在kibana页面上

二、log4j基础

---

Log4j 是一个使用 Java 语言编写的，可靠、快速、灵活的日志框架（API），使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。

Log4j 是高度可配置的，在运行期使用外部的配置文件对其进行配置。它按照优先级别记录日志，并可将日志信息定向输出到各种介质，比如数据库、文件、控制台、Unix Syslog等。

Log4j 主要由三部分组成：
- 1.loggers：负责采集日志信息。
- 2.appenders：负责将日志信息发布到不同地方。
- 3.layouts：负责以各种风格格式化日志信息。

三、新建java项目

---

下面通过实际的工程配置学习如何配置log4j。工程目录结构如下图所示:

pom.xml文件中加入log4j的依赖，版本为1.2.17，pom.xml中的代码如下:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.logs</groupId>
    <artifactId>log4idemo1</artifactId>
    <version>1.0-SNAPSHOT</version>
    <!-- https://mvnrepository.com/artifact/log4j/log4j -->
    <dependencies>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
    </dependencies>

</project>

在resource目录下新建log4j.properties,加入以下配置:

### 设置###
log4j.rootLogger = debug,stdout,D,E,logstash

### 输出信息到控制抬 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

### 输出DEBUG 级别以上的日志到=/user/zhujie/Documents/elk/log4j/debug.log###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = /Users/bee/Documents/elk/log4j/debug.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG 
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

### 输出ERROR 级别以上的日志到=/user/zhujie/Documents/elk/log4j/error.log  ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File =/Users/bee/Documents/elk/log4j/error.log 
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR 
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender