微服务轮子项目（15） -审计日志

1. 前言

在上一篇博客《微服务轮子项目（14） - 慢查询SQL》，主要讲解了慢查询在MySQL以及在Logstash和Filebeat的操作。

接下来，本文要讲解的是审计日志。

2. 审计日志集成

将来要集成审计日志到我们的项目中，其中审计信息默认输出到logger文件中：logs/audit/audit.log

集成的步骤如下：

step1： 配置信息，该功能默认关闭，添加以下配置到需要记录审计日志的服务上即可开启

ylw:
  audit-log:
    enabled: true

step2：添加依赖

<dependency>
    <groupId>wheel-commons</groupId>
    <artifactId>wheel-log-spring-boot-starter</artifactId>
</dependency>

step3： 添加注解，在需要审计的方法上添加 @AuditLog注解，如果在类上添加则该类的所有方法都生效，支持 spEL 表达式

如果配置成功，开启后，会并生成出审计日志，内容如下：

3. 发送审计日志

3.1 安装部署ELK

• 参考《微服务轮子项目（13） - 统一日志中心详解（docker安装部署）》

3.2 定义es索引模板

执行下面的ssh脚本创建 【审计日志】 的索引模板，ip改为自己的服务器地址:

curl -XPUT http://192.168.28.130:9200/_template/template_audit_log -H 'Content-Type: application/json' -d '
{
    "index_patterns" : ["audit-log-*"],
    "order" : 0,
    "settings" : {
        "number_of_replicas" : 0
    },
    "mappings": {
        "doc": {
            "properties": {
                "operation": {
                    "type": "text",
                    "fields": {
                        "keyword": {
                            "type": "keyword",
                            "ignore_above": 256
                        }
                    },
                    "analyzer": "ik_max_word"
                }
            }
        }  
    } 
}'

3.3 Logstash配置

step1：修改10-syslog.conf配置，在filter里增加以下内容:

if [fields][docType] == "audit-log" {
    grok {
      patterns_dir => ["/opt/logstash/patterns"]
      match => {
        "message" => "%{TIMESTAMP_ISO8601:logTime}\|%{MYAPPNAME:appName}\|%{MYTHREADNAME:className}\|%{WORD:methodName}\|%{MYAPPNAME:userId}\|%{MYAPPNAME:userName}\|%{MYAPPNAME:clientId}\|%{GREEDYDATA:operation}"
      }
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]
      target => "timestamp"
      locale => "en"
      timezone => "+08:00"
    }
    mutate {
      remove_field => "message"
      remove_field => "logTime"
      remove_field => "@version"
      remove_field => "host"
      remove_field => "offset"
    }
}

step2: 修改30-output.conf配置，增加以下内容

if [fields][docType] == "audit-log" {
    elasticsearch {
      hosts => ["localhost"]
      manage_template => false
      index => "audit-log-%{+YYYY.MM.dd}"
      document_type => "%{[@metadata][type]}"
    }
}

3.4 Filebeat配置

修改配置文件 filebeat.yml，在 filebeat.inputs 里添加以下内容，抓取日志内容:

- type: log
  enabled: true
  paths:
    - D:\workspaces\projects\logs\audit\*.log
  fields:
    docType: audit-log
    project: microservices-platform

4. 查看数据

配置好elk之后日志数据就能同步到es了并自动创建索引：

通过页面展示数据：