Spring boot集成log4j及日志配置详解，实战，ELK使用教程。

引言

日志系统是非常重要的，常用于日常问题排查及数据分析统计等。我们将介绍如何在 SpringBoot 项目中集成 Log4j，并对 Log4j 配置文件（XML格式）的各种配置进行详细讲解。

---

一、SpringBoot 集成 Log4j

之所以使用log4j，是因为log4j在高并发的场景下的表现相对比较优异，配置灵活且可靠，是目前市面上呗最广泛使用的日志组件。

1. 添加 Log4j 依赖

首先，你需要在 pom.xml 文件中添加 Log4j 的 Maven 依赖。以下是一个典型的依赖配置：

<dependencies>
    <!-- Spring Boot Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>

    <!-- Log4j Dependency -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-log4j2</artifactId>
    </dependency>
</dependencies>

2. 移除默认的Logback组件

由于Spring Boot默认使用Logback，Logback的性能方面弱于Log4j，对性能要求不是非常高的系统也可以采用Logback。我们需要移除src/main/resources 目录下的logback-spring.xml文件。

3. 创建 Log4j 配置文件

在 src/main/resources 目录下创建一个名为 log4j2.xml 的配置文件。

4. 配置 Log4j2 日志文件

以下是一个基本的 Log4j2 XML 配置文件示例：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
   <Appenders>
      <Console name="Console" target="SYSTEM_OUT">
         <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"/>
      </Console>
      <File name="File" fileName="logs/app.log">
         <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"/>
      </File>
      <RollingFile name="RollingFile" fileName="logs/rolling.log" filePattern="logs/$${date:yyyy-MM}/app-%d{MM-dd-yyyy}-%i.log.gz">
         <PatternLayout>
            <pattern>%d %p %c{1.} [%t] %m%n</pattern>
         </PatternLayout>
         <Policies>
            <TimeBasedTriggeringPolicy />
            <SizeBasedTriggeringPolicy size="10MB"/>
         </Policies>
      </RollingFile>
   </Appenders>
   <Loggers>
      <Root level="info">
         <AppenderRef ref="Console"/>
         <AppenderRef ref="File"/>
         <AppenderRef ref="RollingFile"/>
      </Root>
   </Loggers>
</Configuration>

---

二、Log4j2 XML 文件配置详解

基本结构

• <Configuration>: 根标签，包含所有的配置。
• <Appenders>: 定义日志输出源，例如控制台、文件等。
• <Loggers>: 定义日志记录器，可以为不同的包或类设置不同的日志级别和输出目标。

Appenders 配置详解

Appenders配置主要是用于控制日志的输出位置的，主要有控制台、文件等位置。

• Console Appender: 输出日志到控制台。

<Console name="Console" target="SYSTEM_OUT">
    <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"/>
</Console>

• File Appender: 输出日志到文件。

<File name="File" fileName="logs/app.log">
    <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"/>
</File>

• RollingFile Appender: 输出日志到文件，并且支持文件滚动。

<RollingFile name="RollingFile" fileName="logs/rolling.log" filePattern="logs/$${date:yyyy-MM}/app-%d{MM-dd-yyyy}-%i.log.gz">
    <PatternLayout>
        <Pattern>%d %p %c{1.} [%t] %m%n</Pattern>
    </PatternLayout>
    <Policies>
        <TimeBasedTriggeringPolicy />
        <SizeBasedTriggeringPolicy size="10MB"/>
    </Policies>
</RollingFile>

Loggers 配置详解

• Root Logger: 定义全局的日志级别和输出目的地。下面的例子表示全局日志的级别为info，并同时输出到Console、File、RollingFile三个位置。

<Root level="info">
    <AppenderRef ref="Console"/>
    <AppenderRef ref="File"/>
    <AppenderRef ref="RollingFile"/>
</Root>

如果你想要将指定文件的输出级别和日志输出位置，可以参考下方配置：
使用Logger指定类的全限定名，指定level为debug，并将日志输出到RollingDemoFile，最终日志就会输出到logs/demo.log文件中。

• PatternLayout: 用于定义日志文件名，使用对应的占位符输出日期时间等

各占位符详解
%d: 显示当前日志的时间和日期，默认格式是 ISO8601，可以自定义日期时间格式，例如 %d{yyyy-MM-dd HH:mm:ss}。
%p: 显示日志级别，类似 DEBUG, INFO, WARN, ERROR, FATAL。
%c{1.}: 显示日志记录器的类别名（一般是类的全名）。 {1.} 表示级别数，只显示类名不包含包名。如果指定 {2.}, 则显示包名的最后两段和类名，如 com.example.ClassName。
%t: 显示记录该日志的线程名称。
%m: 显示日志消息内容。
%n: 换行符，根据操作系统不同会自动选择合适的换行符。

• Policies: 用于定义日志文件的分割条件，按照日志大小或者时间等

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
   <Appenders>
      <RollingFile name="RollingDemoFile" fileName="logs/demo.log"
                  filePattern="logs/$${date:yyyy-MM}/app-%d{MM-dd-yyyy}-%i.log.gz">
         <PatternLayout>
            <Pattern>%d %p %c{1.} [%t] %m%n</Pattern>
         </PatternLayout>
         <Policies>
            <TimeBasedTriggeringPolicy />
            <SizeBasedTriggeringPolicy size="10MB"/>
         </Policies>
      </RollingFile>
   </Appenders>
   <Loggers>
      <!-- 为某个类单独设置日志级别和输出目标 -->
      <Logger name="com.example.DemoClass" level="debug" additivity="false">
         <AppenderRef ref="RollingDemoFile"/>
      </Logger>

      <Root level="info">
         <AppenderRef ref="Console"/>
         <AppenderRef ref="File"/>
         <AppenderRef ref="RollingFile"/>
      </Root>
   </Loggers>
</Configuration>

---

三、日志的作用

日志在软件开发中具有重要作用，主要表现在以下几个方面：

1. 故障排查：通过日志，可以追踪到应用程序中的异常和错误，便于开发人员进行故障排查。
2. 性能监控：日志记录可以帮助监控应用程序的性能，识别出性能瓶颈和优化点。
3. 审计：日志记录用户操作行为，可以用于审计和安全检查。
4. 调试：在开发过程中，日志是调试程序的有力工具，便于发现问题和优化代码。

---

四、日志数据采集与分析

1. 日志数据采集

在现代分布式系统中，日志数据的采集往往依赖于一些专业的日志管理系统，如 ELK（Elasticsearch, Logstash, Kibana）堆栈或 Graylog。

• Filebeat：轻量级日志转发工具，主要用于将日志文件中的数据转发至 Logstash 或 Elasticsearch。
• Logstash：数据处理管道工具，可以从多种来源接收数据并转发到不同的目标，如 Elasticsearch。
• Fluentd：区别于 Logstash 的开源数据收集工具，拥有丰富的输入和输出插件。

2. 日志数据分析

日志数据采集后，我们可以使用强大的分析工具进行数据分析：

• Elasticsearch：分布式搜索和分析引擎，适用于海量日志数据的存储和检索。
• Kibana：Elasticsearch 的可视化工具，提供强大的数据分析功能，可以创建各种图表和仪表盘，实时展示日志数据。

实践案例

以下是一个ELK堆栈的简单使用案例：

1. Filebeat 配置：创建 filebeat.yml 文件，将日志文件输送至 Logstash：

filebeat.inputs:
- type: log
  paths:
    - /path/to/your/logs/*.log

output.logstash:
  hosts: ["logstash:5044"]

2. Logstash 配置：创建 logstash.conf 文件，接收 Filebeat 发送的日志并存储到 Elasticsearch：

input {
  beats {
    port => 5044
  }
}

filter {
  # 可以添加一些滤镜，例如解析日志格式
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "your-log-index-%{+YYYY.MM.dd}"
  }
}

3. Kibana 配置：通过 Kibana UI 创建索引模式，在仪表盘上查看和分析日志数据。

通过上述方式，我们可以实现对 SpringBoot 项目日志的全面采集与分析，有效提高系统的可维护性和性能监控能力。

---

结语

在这篇博客中，我们详细介绍了如何在 SpringBoot 项目中集成 Log4j 以及 Log4j 配置文件的各种配置方法。通过合理地配置日志系统，我们能够更好地进行故障排查、性能监控和安全审计。进一步地，通过日志数据采集和分析工具，我们能够实现对日志数据的深度挖掘，为我们的应用提供了更便捷的数据可视化等支持。