graylog lookup table使用

这篇博客介绍了如何利用Graylog的查找表Lookuptable功能来优化日志处理。通过创建数据适配器、缓存、查找表和查找结果组件,可以从CSV文件中进行数据映射,提高日志字段值的查找和转换效率。缓存机制确保了高效查询,同时避免了对数据库的频繁访问。在提取器、转换器和管道规则中使用lookup table,可以方便地增加或更新日志字段,从而增强日志分析能力。
摘要由CSDN通过智能技术生成

查找表lookup table

概念:

  • 它允许您查找/映射/转换消息字段值为新值,并将它们写入新消息字段或覆盖现有字段

组成:

查找表系统由四个组件组成:数据适配器,缓存,查找表,查找结果

  • 数据适配器:数据适配器用于对值执行实际查找。他们可能会从 CSV 文件读取、连接到数据库或执行 HTTP 请求以接收查找结果。
  • 缓存:缓存负责缓存查找结果,以提高查找性能和/或避免数据库和 API 过载。它们是单独的实体,以便能够为不同的数据适配器重用缓存实现。类似于redis做缓存使用。当使用缓存时,缓存中查不到会查数据库,将数据库的结果放入缓存供下次查询,会提高查询效率。
  • 查找表:查找表组件将数据适配器实例和缓存实例绑定在一起。需要实际启用在提取器、转换器、管道函数和装饰器中使用查找表。
  • 查找结果:单个值可以是字符串、数字或布尔值,将在提取器、转换器、装饰器和管道规则中使用。

Example 1:通过CSV文件内容进行查找

作用: 对上传日志的指定字段通过映射关系给日志增加一个字段
1. 访问lookup table页面
![在这里插入图片描述](https://img-blog.csdnimg.cn/9fd149f9c5c64e6d8986f1008f4d6b9b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA

2.创建一个适配器
在这里插入图片描述

创建一个csv文件
在这里插入图片描述
配置适配器
在这里插入图片描述

3.创建一个Caches

在这里插入图片描述

配置缓存
Maximum entries最大存储数量
Expire after access表示缓存中存储的数据被访问后多久从缓存中自动失效
Expire after write表示数据进入缓存后多久自动失效
Name在提取器、转换器、管道函数和装饰器中使用查找表时需要的名字,必须唯一

在这里插入图片描述

4.创建lookup table
在这里插入图片描述

在这里插入图片描述

5. 使用lookup table
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6.结果
在这里插入图片描述

管道规则中内置函数使用lookup table

https://docs.graylog.org/docs/functions-1

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值