elk收集k8s微服务日志_微服务日志elk，Linux运维工作经验6年

最新推荐文章于 2024-08-21 08:34:56 发布

嘻嘻哈哈学编程

最新推荐文章于 2024-08-21 08:34:56 发布

阅读量217

点赞数 3

分类专栏： 2024年程序员学习文章标签：运维 elk kubernetes

本文链接：https://blog.csdn.net/m0_61068496/article/details/137395614

版权

本文介绍了如何在具有6年Linux运维经验的背景下，利用ELK (Elasticsearch, Logstash, Kibana) 套件来收集 Kubernetes 集群中的微服务日志。通过配置Logstash的正则表达式解析日志格式，并创建ConfigMap以部署到Kubernetes的nodejs命名空间中。" 117405305,7982023,C语言实现：提取不重复整数的哈希表解法,"['C语言', '哈希表', '算法']

摘要由CSDN通过智能技术生成

      }
    }
  }
  output {
   # stdout{                 #该项为测试模式，将收集的日志内容输出到logstash的日志中
   #   codec => rubydebug
   # }
    elasticsearch {
        hosts => "elasticsearch:9200"    #这里的索引名称使用日志中包含的变量自动命名
        index => "%{[kubernetes][container][name]}-%{+YYYY.MM.dd}"
    }
  }


这里对java日志进行一下说明，java日志都是特定的日期格式开头，基本上都是单行的，除了报错日志，报错日志会换行，因为报错栈非常多，filebeat收集日志是一行一行收集的，在收集java报错日志的时候就会出现问题，错误日志的报错栈也被分开很多行去收集了，这是有问题的，所以会在filebeat收集java日志的时候加入multiline，进行事务的一个合并，下面来看一下java的日志


正常日志


可以看到都是以特定的时间格式开头


![](https://img-blog.csdnimg.cn/direct/1d00b83450f648f78ca437ed0e4d1278.png)


错误日志


其实错误日志的结构和正常日志是一样的，只是后面的报错栈被分行了，所以在filebeat使用multiline将这些不是以时间开头的行合并到上一个事件中即可


![](https://img-blog.csdnimg.cn/direct/931ab5c6d62e468ca783d2ecd2dc0a89.png)


 可以使用kibana试验一下对java日志的分割是否能生效

%{TIMESTAMP