SpringBoot搭建ELK日志收集管理系统

说在前头：本人为大二在读学生，书写文章的目的是为了对自己掌握的知识和技术进行一定的记录，同时乐于与大家一起分享，因本人资历尚浅，发布的文章难免存在一些错漏之处，还请阅读此文章的大牛们见谅与斧正。若在阅读时有任何的问题，也可通过评论提出，本人将根据自身能力对问题进行一定的解答。

前言

ElK日志管理系统，是由搜索引擎ElasticSearch、日志收集LogStash以及前端日志可视化框架Kibana集合而成的日志管理系统。

在传统的单体架构项目中，我们需要查看日志记录时，可以直接在服务器中查找和收集管理所有的日志信息。但在微服务架构项目中，每个服务都有着其独立的服务器，这使得我们查找和管理日志变得尤为的繁琐和不便，因此才有了ELK集成日志管理系统。

1.ElasticSearch是使用Java编写的高性能主流搜索引擎，主要用于检索Logstash收集的日志（运行时需要安装Java运行环境）

2.Logstash是用于管理日志和收集日志的工具，主要将各个服务的日志收集起来后，供ElasticSearch检索。

3.Kibana是前端的可视化日志框架，当项目各个服务的日志经过Logstash的收集管理后，通过ElasticSearch搜索用户指定要求的日志，最终让Kibana通过前端可视化的方式展现给用户。

01—下载ElasticSearch、Logstash、Kibana

elk的下载可以到官网下载（链接：下载 Elastic 产品 | Elastic）

下载成功后对三个压缩包进行解压即可

02—配置启动ElasticSearch

打开es的安装目录，打开配置目录config下的配置文件elasticsearch.yml

配置文件对应字段修改如下：

此时返回安装目录下的bin目录，双击elasticsearch.bat

启动成功后如下图

此时浏览器访问http://localhost:9200/，打印信息如下图及表明配置成功！

03—配置启动Logstash

打开logstash的安装目录，打开配置目录config目录下的配置文件logstash-sample.conf

修改配置文件对应位置为以下内容：

修改好配置文件后，打开bin目录新建名为run.bat的文件，文件内容如下：

logstash -f ../config/logstash-sample.conf

保存后双击run.bat文件，启动Logstash（启动成功后如下图）

04—配置启动Kibana

打开Kibana安装目录，打开配置目录config目录下的配置文件kibana.yml

修改配置文件kibana.yml如下图：

打开bin目录下执行kibana.bat启动Kibana

启动成功后访问http://localhost:5601/，如下图

05—SpringBoot整合ELK

依赖配置：

    <dependencies>
        <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
        <version>2.5.0</version>
    </dependency>
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.1</version>
        </dependency>
    </dependencies>

启动类：

package com.bosen.www;
​
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
​
@SpringBootApplication
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}
​

日志文件logback.xml：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <contextName>elk-log</contextName>
​
<!--    <springProperty scope="context" name="appName" source="spring.application.name"/>-->
    <property name="appName" value="elk-test"/>
​
    <!-- logstash远程日志配置-->
    <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:4560</destination>
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder" >
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "app": "${appName}",
                        "level": "%level",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "message": "%message"
                        }
                    </pattern>
                </pattern>
​
            </providers>
        </encoder>
    </appender>
    <!-- 控制台输出 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>
    <!-- 按照每天生成日志文件 -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志文件输出的文件名-->
            <FileNamePattern>log/${appName}/${appName}.%d{yyyy-MM-dd}.log</FileNamePattern>
            <!--日志文件保留天数-->
            <MaxHistory>30</MaxHistory>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
        <!--日志文件最大的大小-->
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <MaxFileSize>10MB</MaxFileSize>
        </triggeringPolicy>
    </appender>
​
    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="stash" />
        <appender-ref ref="STDOUT" />
    </root>
</configuration>

启动程序：（启动后如下图）

此时打开kibana（http://localhost:5601/）按照以下步骤创建索引，并查看程序日志！

此时我们就可以看到对应程序的日志信息啦！！！

 👇扫描二维码关注