ELK的日志解决方案

1 概述

ELK 已经成为目前最流行的集中式日志解决方案，它主要是由 Beats、Logstash、Elasticsearch、Kibana 等组件组成，来共同完成实时日志的收集，存储，展示等一站式的解决方案。

2 Logstash 介绍

Logstash 是具有实时流水线能力的开源的数据收集引擎。Logstash 可以动态统一不同来源的数据，并将数据标准化到您选择的目标输出。它提供了大量插件，可帮助我们解析，丰富，转换和缓冲任何类型的数据。

3 Logstash 安装

3.1 拉取 logstash 镜像

docker pull logstash:7.17.7

3.2 创建容器

docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network wn_docker_net \
--ip 172.18.12.79 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7

3.2 创建并编辑配置文件

查看 docker 容器配置文件位置

docker exec -it logstash bash

使用pwd获得目录位置，备用

#logstash.conf
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5044  #监听5044端口
    codec => json_lines
  }
}
filter{
}
output {
    elasticsearch {
      hosts => ["192.168.3.10:9200"]       #elasticsearch的ip地址
      index => "secss-log"                          #索引名称
    }
    stdout { codec => rubydebug }
}

#logstash.yml
path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0" 
#将监控数据发送到es节点
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.3.10:9200" ]

#pipelines.yml
- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"

3.3 将配置文件移动到容器中

docker cp logstash.yml logstash:/usr/share/logstash/config
docker cp pipelines.yml logstash:/usr/share/logstash/config
docker cp logstash.conf logstash:/usr/share/logstash/pipeline

重启容器, 释放端口

docker restart logstash
firewall-cmd --add-port=9600/tcp --permanent
firewall-cmd --add-port=5044/tcp --permanent
firewall-cmd --reload

至此，logstash 安装完毕

4 logstash 使用

4.1 导入依赖

#导入依赖
 <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>7.3</version>
    </dependency>

4.2 创建 logback-spring. xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时，配置文档如果发生改变，将会被重新加载，默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。
                 当scan为true时，此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds">
    <!--1. 输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用，只配置最低级别，控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <!-- 2. 输出到文件  -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文档输出格式-->
        <append>true</append>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此处设置字符集 -->
        </encoder>
    </appender>
    <!--LOGSTASH config -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.3.10:5044</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <!--自定义时间戳格式， 默认是yyyy-MM-dd'T'HH:mm:ss.SSS<-->
            <timestampPattern>yyyy-MM-dd HH:mm:ss</timestampPattern>
            <customFields>{"appname":"QueryApp"}</customFields>
        </encoder>
    </appender>
    <root level="DEBUG">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>

4.3 创建一个类作为示例

@RestController
@Slf4j
@RequestMapping("/api/query")
public class QueryController {
    @Autowired
    private BookDocService bookDocService;
    @GetMapping("/helloLog")
    public HttpResp helloLog() {
        List<BookDoc> bookDocs = bookDocService.findAll();
        log.debug("从es中查询到的数据：{}", bookDocs);
        return HttpResp.success(bookDocs.subList(0, 10));
    }
}

5 配置 kibana

创建索引

如果没有创建索引，这里会失败

6 运行并检索日志