Logstash Logback Encoder实现ELK日志归集

wpet

已于 2022-12-09 11:12:17 修改

阅读量1.7k

点赞数

分类专栏：心得文章标签： logback elk elasticsearch spring cloud spring boot

于 2022-12-09 11:04:11 首次发布

本文链接：https://blog.csdn.net/wpet/article/details/128249275

版权

本文介绍了在SpringCloud平台上利用Logstash Logback Encoder组件进行日志归集的方案。内容涵盖了Elasticsearch配置、Kibana的Index patterns设置、logstash.conf配置以及Logback.xml和pom.xml的修改。通过这些配置，实现了从日志生成到日志收集、展示的完整流程。

摘要由CSDN通过智能技术生成

写在前面

搭建SpringCloud平台日志归集方案，主要使用Logstash Logback Encoder组件实现。
主要分为运维相关的配置和开发相关的配置，具体分类无需纠结，都了解一遍即可。
不足之处，各位大神指出，感谢~

运维相关配置

Elasticsearch配置

新建Index Templates，Mapping参考值如下，具体参考值可参考 Logstash Logback Encoder

{
  "_doc": {
    "_meta": {},
    "_source": {},
    "properties": {
      "appname": {
        "type": "text"
      },
      "stacktrace": {
        "type": "text"
      },
      "level": {
        "type": "text"
      },
      "port": {
        "type": "integer"
      },
      "service": {
        "type": "text"
      },
      "logger": {
        "type": "text"
      },
      "host": {
        "type": "text"
      },
      "thread": {
        "type": "text"
      },
      "levelVal": {
        "coerce": true,
        "index": true,
        "ignore_malformed": false,
        "store": false,
        "type": "integer",
        "doc_values": true
      },
      "message": {
        "type": "text"
      }
    }
  }
}

kibana相关配置

建立Index patterns。根据Elastic search的索引规则配置，建立Kibana的Index patterns。

logstash配置

logstash.conf配置文件，新增logstash.conf文件，内容如下

input {
tcp {
    mode => "server"
    port => 4561  # nacos指定的端口
    codec => json_lines
}
}

output {  
# stdout { codec => rubydebug } # 调试时开启，线上关闭
  if [platform] == "projectName" {
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "projectName-platform-%{+yyyy-MM-dd}"
    }
  }  
}

logstash启动命令

bin/logstash -f logstash.conf

nacos项目配置文件

nacos项目级-配置方法

projectName:
  logstash:
    open: true        #配置是否开启ELK日志收集
    appname: model （设置自身项目appname）
    ip: 192.168.xxx.xxx  #Logstash地址
    port: 4561        #Logstash TCP端口