ElasticSearch+Kibana+Filebeat 采集日志内的json数据

之举

已于 2023-02-08 13:32:41 修改

阅读量1.2k

点赞数

文章标签： elasticsearch json 大数据 Powered by 金山文档

于 2023-02-08 01:54:42 首次发布

本文链接：https://blog.csdn.net/qq_35993868/article/details/128913248

版权

方式有很多，以下是我学习中自己写的。

要被采集的日志：

{"time":"2023-02-07T10:11:20+08:00","type":"info","msg":"{\"business\":\"elk\",\"module\":\"demo\",\"action\":\"test\",\"level\":\"info\",\"date\":\"2023-02-07 10:11:20\",\"second\":\"0.899408\",\"data\":{\"id\":233,\"name\":\"张三\",\"gender\":24,\"phone\":13511112222}}"}
[2023-02-07T10:11:39+08:00][info] {"business":"elk","module":"demo","action":"test","level":"info","date":"2023-02-07 10:11:39","second":"0.493702","data":{"id":233,"name":"张三","gender":24,"phone":13511112222}}

两条不同格式的日志是为了测试不同格式的采集方式
第一条是纯json格式日志
第二条是ThinkPHP6的默认日志格式，符合大多数的日志格式

在ElasticSearch创建pipeline(管道)：

在“Kibana->Stack Management->采集管道->创建管道”

或者

在“Kibana->开发工具->控制台”运行以下代码

PUT _ingest/pipeline/elk-test-pipeline    
{
    "description" : "解析混合日志",
    "processors" : 
    [{
        "grok": {
            "field": "message",