采用 Logstash 采集 tomcat access 日志和应用程序日志

Logstash 的安装

 

Logstash 的安装非常简单，直接官网下载对应的版本（需要和 Elasticsearch 的版本匹配）解压缩即可

# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/

# mv logstash-2.3.2/ logstash

测试启动

# cd logstash/

# cd bin/

# ./logstash -e 'input { stdin { } } output { stdout {} }'

采集tomcat的access日志

安装tomcat并且部署示例程序war（spring-mvc-showcase.war），其中示例程序 spring-mvc-showcase.war 可以到 spring mvc 官网下载，启动 tomcat 并且访问示例程序，产生部分日志

启动 Logstash 日志采集

# ./bin/logstash -f ./conf-logstash/access-log.conf  # -f 后面指定的是配置文件

查看 Elasticsearch head 插件查看，发现已经自动创建了 tomcat_access index，并且导入了数据

这里详细介绍下 Logstash 的配置文件 /conf-logstash/access-log.conf

其内容如下

input {
    file {
        path => "/usr/local/tomcat8/logs/localhost_access_log.2016-04-30.txt"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{ACCESSLOG}"
        }
  }
}


output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat_access"
    }
}

通常 Logstash 的一个配置文件含 input{}，filter{}，output{} 三部分，该三部分的作用也很好理解，一个配置输入源，一个配置过滤规则，一个配置输出；其每个部分又可以配置各种不同的插件，所有插件的说明请参考官网文档的说明

这里配置的 filter grok 插件说明如下

patterns_dir => "/usr/local/elk/logstash-patterns"

指明 grok 插件使用的正则表达式存放的目录，本次实验该目录下存放了一个文件 j2ee，其内容如下

JAVACLASS (?:[a-zA-Z$_][a-zA-Z$_0-9]*\.)*[a-zA-Z$_][a-zA-Z$_0-9]*
#Space is an allowed character to match special cases like 'Native Method' or 'Unknown Source'
JAVAFILE (?:[A-Za-z0-9_. -]+)
#Allow special <init> method
JAVAMETHOD (?:(<init>)|[a-zA-Z$_][a-zA-Z$_0-9]*)
#Line number is optional in special cases 'Native method' or 'Unknown source'
JAVASTACKTRACEPART %{SPACE}at %{JAVACLASS:class}\.%{JAVAMETHOD:method}\(%{JAVAFILE:file}(?::%{NUMBER:line})?\)
# Java Logs
JAVATHREAD (?:[A-Z]{2}-Processor[\d]+)
JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JAVAFILE (?:[A-Za-z0-9_.-]+)
JAVASTACKTRACEPART at %{JAVACLASS:class}\.%{WORD:method}\(%{JAVAFILE:file}:%{NUMBER:line}\)
JAVALOGMESSAGE (.*)
# MMM dd, yyyy HH:mm:ss eg: Jan 9, 2014 7:13:13 AM
CATALINA_DATESTAMP %{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM)
# yyyy-MM-dd HH:mm:ss,SSS ZZZ eg: 2014-01-09 17:32:25,527 -0800
TOMCAT_DATESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) %{ISO8601_TIMEZONE}
CATALINALOG %{CATALINA_DATESTAMP:timestamp} %{JAVACLASS:class} %{JAVALOGMESSAGE:logmessage}
# 2014-01-09 20:03:28,269 -0800 | ERROR | com.example.service.ExampleService - something compeletely unexpected happened...
TOMCATLOG %{TOMCAT_DATESTAMP:timestamp} \| %{LOGLEVEL:level} \| %{JAVACLASS:class} - %{JAVALOGMESSAGE:logmessage}

# 2016-04-10 07:19:16-|INFO|-Root WebApplicationContext: initialization started
MYTIMESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}
MYLOG %{MYTIMESTAMP:mytimestamp}-\|%{LOGLEVEL:level}\|-%{JAVALOGMESSAGE:logmsg}

ACCESSIP (?:[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})
ACCESSTIMESTAMP %{MONTHDAY}\/%{MONTH}\/20%{YEAR}:%{HOUR}:%{MINUTE}:%{SECOND} %{ISO8601_TIMEZONE}
HTTPMETHOD (GET|POST|PUT|DELETE)
PRJNAME ([^\s]*)
HTTPVERSION (https?\/[0-9]{1}\.[0-9]{1})
STATUSCODE ([0-9]{3})
# 192.168.1.101 - - [10/Apr/2016:08:31:34 +0800] "GET /spring-mvc-showcase HTTP/1.1" 302 -
ACCESSLOG %{ACCESSIP:accIP}\s-\s\-\s\[%{ACCESSTIMESTAMP:accstamp}\]\s"%{HTTPMETHOD:method}\s\/%{PRJNAME:prjName}\s%{JAVALOGMESSAGE:statusCode}

        match => {
            "message" => "%{ACCESSLOG}"  # 这里使用的 ACCESSLOG 就是在 /usr/local/elk/logstash-patterns 这个目录下的上面这个文件中配置的
        }

Logstash 官网提供了很多可以拿来即用的正则表达式，详细请参考 github 项目

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

采集 tomcat 应用程序日志

# ./bin/logstash -f ./conf-logstash/tomcat-log.conf

conf-logstash/tomcat-log.conf 内容如下

input {
    file {
		codec => multiline {
			 pattern => "^\s"
			 what => "previous"
		}
        path => "/usr/local/tomcat8/logs/catalina.out"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{MYLOG}"
        }
        add_field => [ "log_ip", "192.168.1.81" ]
  }
 
}

output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat"
    }
}

转载自：https://my.oschina.net/u/174366/blog/668476