SpringBoot + elk

1 elk 简介

• Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
• Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2 部署

elk.yml

version: "3.7"

services:

  es:
    image: elasticsearch:6.8.17
    environment:
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
    networks:
      - loc_net
    ports:
      - 9200:9200
      - 9300:9300
    volumes:
      - /data/elasticsearch:/usr/share/elasticsearch/data

  kibana:
    image: kibana:6.8.17
    environment:
      SERVER_NAME: kibana.cn
      ELASTICSEARCH_HOSTS: http://es:9200
    ports:
      - 5601:5601
    networks:
      - loc_net

  logstash:
    image: logstash:7.13.3
    ports:
      - 5044:5044
      - 9600:9600
    environment:
      ES_JAVA_OPTS: -Xmx2048m -Xms2048m"
      http.host: 0.0.0.0
      xpack.monitoring.enabled: 'false'
      xpack.monitoring.elasticsearch.url: http://es:9200
    networks:
      - loc_net
    volumes:
      - "/data/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf"



networks:
  loc_net:
    external: true

3 配置

logstash.conf

input{
        tcp {
                port => 5044
                codec => json_lines
        }
}
output{
        elasticsearch{
                hosts=>["http://es:9200"]
                index => "%{[service]}-%{+YYYY.MM.dd}"
                }
        stdout{codec => rubydebug}
}

收集 SpringBoot 项目日志

引入依赖

		<dependency>
			<groupId>net.logstash.logback</groupId>
			<artifactId>logstash-logback-encoder</artifactId>
			<version>5.2</version>
		</dependency>

logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--该日志将日志级别不同的log信息保存到不同的文件中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>

    <springProperty scope="context" name="springAppName"
                    source="spring.application.name"/>

    <springProperty scope="context" name="appname"
                    source="spring.application.name"/>

    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}"/>

    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!-- 为logstash输出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>xx.xx.xx.xx:5044</destination>
        <!-- 日志输出编码 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="console"/>
        <appender-ref ref="logstash"/>
    </root>

</configuration>

4 总结

 1 只关注如何从 SpringBoot 项目中采集日志到 logstash，然后发送到 es，最后在 kibana 中可视化的查询。采集后如何展示，分析还待整理

2 logstash 组件过于重，我们实际项目中使用的是 log-pilot 这个开源的组件。