【Graylog】索引模板mapping自定义

最新推荐文章于 2024-04-01 21:08:53 发布
最新推荐文章于 2024-04-01 21:08:53 发布
阅读量771 收藏
点赞数
分类专栏： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shen12138/article/details/118485247
版权

前言

Graylog使用中，总会有千奇百怪的要求，比如有同事就想全盘挪移ELK那套东西到Graylog，目前迁移一个业务日志到平台中，要求使用Logstash输入到Elasticsearch，Graylog管控索引声明周期，负责查询功能。

一、Logstash输入到Elasticsearch

这一步很好实现，但是如果想要在Graylog中可以查看到，需要下一番功夫，我遇到的问题有以下两点。

  1. 时间戳问题，@timestamp转换为timestamp，还要对时间进行矫正，要不然会有八个小时的时差
  2. 补全字段，如果想要在Graylog可以搜索到，需要补全字段。

二、进入主题

1.根据拿到的template.json分析

  通过查看json文件，发现大部分都是keyword类型，所以根据可以不用加入到json中，最特殊的是其中一个使用ik分词器的(安装分词器，分词器的安装比较烂大街，就不在赘述了)所以使用Graylog默认的mapping肯定是行不通的。

        查看官方文档，很容易就找到了创建外挂mapping，我的理解是，新建索引集后，会根据默认的mapping+外挂的mapping共同生成一个索引mapping，参考文档：Graylog文档。

2.新建文件

        新建一个json文件，新增字段的mapping。

{
  "template": "cce_*",
  "mappings": {
    "message": {
      "properties": {
        "cluster_name": {
          "type": "keyword"
        },
        "log_level": {
          "type": "keyword"
        },
        "type": {
          "type": "keyword"
        },
        "log_time": {
          "type": "keyword"
        },
        "namespace_name": {
          "type": "keyword"
        },
        "pod_name": {
          "type": "keyword"
        },
        "log_type": {
          "type": "keyword"
        },
        "cluster_uuid": {
          "type": "keyword"
        },
        "container_name": {
          "type": "keyword"
        },
        "log_data": {
          "search_analyzer": "ik_smart",
          "analyzer": "ik_max_word",
          "type": "text",
          "fields": {
            "keyword": {
              "ignore_above": 256,
              "type": "keyword"
            }
          }
        },
        "workload_name": {
          "type": "keyword"
        },
        "collect_time": {
          "type": "date"
        }
      }
    }
  }
}

3.插入

curl -X PUT -d @'graylog-custom-mapping-7x.json' -H 'Content-Type: application/json' 'http://localhost:9200/_template/graylog-custom-mapping?pretty'

返回true即可。

4.验证

轮换索引集，查看mapping，成功。

{ - 
  "cce_2": { - 
    "mappings": { - 
      "message": { - 
        "dynamic_templates": [ - 
          { - 
            "internal_fields": { - 
              "match": "gl2_*",
              "match_mapping_type": "string",
              "mapping": { - 
                "type": "keyword"
              }
            }
          },
          { - 
            "store_generic": { - 
              "match_mapping_type": "string",
              "mapping": { - 
                "type": "keyword"
              }
            }
          }
        ],
        "properties": { - 
          "_time": { - 
            "type": "date"
          },
          "cluster_name": { - 
            "type": "keyword"
          },
          "cluster_uuid": { - 
            "type": "keyword"
          },
          "collect_time": { - 
            "type": "date"
          },
          "container_name": { - 
            "type": "keyword"
          },
          "full_message": { - 
            "type": "text",
            "analyzer": "ik_max_word"
          },
          "gl2_message_id": { - 
            "type": "keyword"
          },
          "gl2_processing_timestamp": { - 
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss.SSS"
          },
          "gl2_receive_timestamp": { - 
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss.SSS"
          },
          "gl2_remote_ip": { - 
            "type": "keyword"
          },
          "gl2_remote_port": { - 
            "type": "long"
          },
          "gl2_source_input": { - 
            "type": "keyword"
          },
          "gl2_source_node": { - 
            "type": "keyword"
          },
          "log_data": { - 
            "type": "text",
            "fields": { - 
              "keyword": { - 
                "type": "keyword",
                "ignore_above": 256
              }
            },
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_smart"
          },
          "log_level": { - 
            "type": "keyword"
          },
          "log_time": { - 
            "type": "keyword"
          },
          "log_type": { - 
            "type": "keyword"
          },
          "message": { - 
            "type": "text",
            "analyzer": "ik_max_word"
          },
          "namespace_name": { - 
            "type": "keyword"
          },
          "pod_name": { - 
            "type": "keyword"
          },
          "source": { - 
            "type": "text",
            "analyzer": "analyzer_keyword",
            "fielddata": true
          },
          "source_type": { - 
            "type": "keyword"
          },
          "streams": { - 
            "type": "keyword"
          },
          "time_day": { - 
            "type": "date"
          },
          "time_hours": { - 
            "type": "keyword"
          },
          "time_min": { - 
            "type": "keyword"
          },
          "time_min_zero": { - 
            "type": "keyword"
          },
          "time_month": { - 
            "type": "date"
          },
          "time_nano": { - 
            "type": "long"
          },
          "time_sec": { - 
            "type": "keyword"
          },
          "timestamp": { - 
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss.SSS"
          },
          "type": { - 
            "type": "keyword"
          },
          "workload_name": { - 
            "type": "keyword"
          }
        }
      }
    }
  }
}

5. 遇到的错误

  • 注意json文件格式
  • 由于我使用版本，搭配的es为6，所以类型上一定不要错。

总结

熟能生巧，多看官方文档，特别是国外产品。

shen12138
关注
专栏目录
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1657
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
ggplot2_可视化_速成
weixin_43528109的博客
11-08 4456
作者：Li_Yuhui 四川大学研究生在读 本文是R，ggplot2包学习的笔记，总结了大量优秀前辈的工作，对ggplot2进行结构性总结归纳，能够让新手快速上手，事实上，笔者是将其作为字典用的，忘记了，就翻一翻。 看完本文后，如果还是对ggplot2不清楚，欢迎来打脸。 文章目录作者：Li_Yuhui 四川大学研究生在读本文是R，ggplot2包学习的笔记，总结了大量优秀前辈的工作，对ggplo...
graylog使用总结这一篇就够了
热门推荐
liuyij3430448的博客
10-31 1万+
graylog使用 graylog报警配置 graylog接springboot graylog使用总结 graylog邮件通知
GrayLog日志平台的基本使用-docker容器日志接入
qq_31292011的博客
12-22 1337
服务器上存在4 个内核，我们要使用 5.12.1这个版本，可以通过 grub2-set-default 0 命令或编辑 /etc/default/grub 文件来设置。在本机测试时，docker无法访问，应该是内核版本太低的问题，我这里进行了内核升级操作。方法1、通过 grub2-set-default 0 命令设置。本机测试：curl -vk http://127.0.0.1。方法2、编辑 /etc/default/grub 文件。3.2.2、设置新的内核为grub2的默认版本。1、查看当前内核版本。
Elasticsearch实战（二）：使用索引模板template
桃花惜春风
08-16 6389
对于日志索引，很多场景都是按日期每天建一个索引，索引对于索引模版的建立非常重要。模版适用于所有提前约定好mapping并且需要动态创建索引的场景。 创建模版示例： PUT _template/server-log ##指定模版名 { "template" : "server*", ##匹配所用索引名server* "settings": { ...
Graylog 中文手册 常用功能和问题整理
2401_83916326的博客
04-01 710
Graylog本身是使用默认映射包括用于设置timestampmessage，和source索引的消息的字段：pretty’],},},},},},],},},},},},},},},为了扩展 Elasticsearch 和 Graylog 的默认映射，您可以创建一个或多个自定义索引映射并将它们作为索引模板添加到 Elasticsearch。假设我们有一个数据架构，如下所示：| 字段名称 | 字段类型 | 例子 |took_ms。
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上
10-26
这包括安装Elasticsearch、创建索引模板、设置映射（mapping），以确定字段类型和分析器等。对于文本内容，可能会使用`standard`或`ik`分词分析器，以便正确地分词和建立倒排索引。 然后是**数据写入Elasticsearch*...
Elasticsearch
表达 交流 自省 完善
11-07 967
Elasticsearch
graylog lookup table使用
qq_44718303的博客
11-10 940
步骤 lookup table就是对上传日志的指定字段通过映射关系给日志增加一个字段 1. 访问lookup table页面 2.创建一个适配器 创建一个csv文件 配置适配器 3.创建一个Caches 4.创建lookup table 5. 使用lookup table 6.结果 ...
中间平台工具 - graylog
sf_jiang的博客
08-11 502
graylog是非常好用的数据处理平台，可以对数据进行：streams分类、pipeline、正则匹配、统计汇总、定制化配置Alerts 等处理。//通过 stream rules 字段匹配做关联，比如需要做falco stream，则可根据 program=Falco做分流。streams(从inputs里面，通过stream rules匹配某些字段条件，route to streams)如果配置了 pipeline，可以在 pipeline Edit connections 里面指定 stream。
GrayLog查询语法
这有一片海的博客
11-12 4978
Graylog的查询语法接近Lucene语法。默认情况下，如果未指定要搜索的消息字段，则搜索中将包括所有消息字段。
Graylog日志简介
jianlecn的博客
11-30 7481
1.基本介绍 Graylog是一个开源的完整的日志管理工具，功能和ELK类似，但又比ELK要简单，相对ELK也有自己的优势，不足之处大概就是扩展性没有ELK架构好。这篇文章里对两者做了一些比较，大家可以参考。Graylog2.2详细部署安装 最吸引我的大概就是对多行日志的处理了。同时，由于Graylog部署起来相对简单，很适合规模不大的情况下使用。当然，这不是说Graylog功能不强大，相反，其...
docker mysql 定时备份shell
Vinci_ljl的博客
09-01 329
备份shell #!/bin/bash #保存备份个数 number=10 username=root password=123456 db=hjjn_base backup_dir=/data/docker/mysql/dump/ mkdir -p /data/docker/mysql/dump/ docker exec my-mysql mysqldump -u$username -p$password $db > $backup_dir/$db-`date +%Y-%m-%d-%H-
Graylog进阶使用-搜索，流，索引，管道，装饰器
赞的心路历程
07-28 3610
上面介绍的都是graylog的基础使用和配置，在配置了之后，已经可以实现对日志的采集，日志的监控报警。下面就简单演示一下如何创建仪表盘，在过程中熟悉一下graylog中的搜索，流，索引，管道，装饰器等等。 途中就是search界面，最上面可以选择时间端，默认是最近5分钟，第二行是搜索的语法，这个语法很简单，最常用的如，搜索level为3的日志，就是 level:3，就这么简单，多条匹配规则可以通过AND，OR(连接词必须大写)进行连接。要搜索包含abc的日志，就直接输入 abc 就行了。.
SpringBoot整合Graylog做日志收集
BASK2311的博客
12-15 2351
本篇文章只是说明了Graylog的一个入门使用，进阶的玩法可能要后面才有时间整理了。不管用什么方案做日志收集，我认为只要简单易用，稳定靠谱就好，ELK作为当前主流的日志收集框架，除了部署麻烦些，耗费资源高些之外并没有明显短板，所以ELK也好，Graylog也罢，只要适合自己就可以。
golang使用创建es索引并指定自定义的mapping 使用v8版本的api
最新发布
09-21
在Go语言中，使用Elasticsearch（ES）库，如`github.com/elastic/go-elasticsearch/v7`，可以方便地操作ES。如果你想要创建索引并指定自定义映射（Mapping），你可以按照以下步骤操作： 首先，确保安装了所需的包： ```bash go get github.com/elastic/go-elasticsearch/v7 go get github.com/elastic/go-elasticsearch/v7/esapi ``` 然后，你可以创建一个索引，并指定映射（Mapping）结构体，例如： ```go package main import ( "context" "encoding/json" "log" "github.com/elastic/go-elasticsearch/v7" "github.com/elastic/go-elasticsearch/v7/esapi" ) type CustomMapping struct { // 定义你的自定义字段及其数据类型 Field1 *string `json:"field1"` Field2 int `json:"field2"` } func createIndex(client *elasticsearch.Client, indexName string, mappingCustom Mapping) error { body, err := json.Marshal(mappingCustom) if err != nil { return err } indexRequest := esapi.IndexRequest{ Index: indexName, DocumentID: "_doc", Body: bytes.NewReader(body), } res, err := client.Do(context.Background(), indexRequest) if err != nil { return err } defer res.Body.Close() log.Printf("Response status: %s\n", res.Status) log.Printf("Response headers: %v\n", res.Header) return nil } func main() { // 创建Elasticsearch客户端 client, err := elasticsearch.NewClient( elasticsearch.SetURL("http://localhost:9200"), elasticsearch.SetBasicAuth("username", "password"), // 如果需要的话提供认证信息 ) if err != nil { log.Fatal(err) } // 索引名和自定义映射 indexName := "my_index" mappingCustom := CustomMapping{Field1: "example_value", Field2: 123} err = createIndex(client, indexName, mappingCustom) if err != nil { log.Fatal(err) } } ``` 在这个示例中，你需要将`"username"`和`"password"`替换为你实际的ES集群用户名和密码，以及`"http://localhost:9200"`替换为ES服务器地址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值