elasticsearch 查询大于小于_[日志管理]Graylog进阶 通过Indices自主管理Elasticsearch集群...

Graylog的Indices功能用于管理Elasticsearch的shards、replicas和segments,实现日志按条件分配到不同Index,优化查询性能。通过设置Index轮转和删除策略,保持集群稳定性和查询效率。步骤包括创建Index set,定义轮转、保留策略,创建Stream并设置筛选条件,完成日志分类和存储。
摘要由CSDN通过智能技术生成

97beb3f8deaf0c18a99425cc78622184.png

Graylog的Indices功能主要是用来管理Elasticsearch的shards、replicas、segments,以及Index的轮转规则(按时间、按大小、按行数),保留最大的Index数量。

它主要解决两个方面的问题:

1、通过在创建的stream中放置判断条件,将日志存储到不同的Index别名中。日志被分配到不同的Index中去了,Index小了,查询自然快了。

2、提供更高细粒度的Index轮转、删除策略。影响Elasticsearch查询性能和资源消耗主要来自于它的分片数的多少,按照一定策略进行删除和关闭,让集群的分片数维持在一定范围内,将很大保证集群的稳定性和查询效率。

Indices配置好之后,Elasticsearch集群几乎不需要人工介入维护,可以做到按需分配、自主清理。

下面开始讲一下如何操作:

(1)在导航栏System/Indices -> Create Index set,创建一个新索引。

5b08f4daa0b72b2851c738788ec46cf3.png

(2)创建一个名为4xx_5xx_log的索引,根据线上的情况填入shards、replicas、segments的数量。Select rotation strategy选择Index Time(按时间进行轮转),Rotation period 轮转的时间为P10D(D代表天,H代表小时,M代表月),有兴趣的可以访问 ISO 8601 duration 来了解一下

fa3c9d56f8286534806e21896094e0d2.png

(3)我们再往下进行定义Index的清理、保留策略。我们选择Select retention strategyDelete Index(删除索引),Max number of indices 选择3个。给大家解释一下就是4xx_5xx_log这个索引只保留3个,也就是3x10D,一个月的日志,点击save保存。

b54b954ec1232b0fbad96e61f8090724.png

(4)我们在导航栏Streams中创建一个名为4xx_5xx_log的stream,右侧选择More Actions,在Index Set中选择刚才创建的4xx_5xx_log的索引,点击save保存。

500d67097dc9bf425c137214058befe6.png

ff3cdc27529b0c8ec7006b46ee165259.png

(5)在设置一下筛选stream 4xx_5xx_log的条件,status状态值大于399,小于600。这样就完成了日志分类、引流到指定Index的全部过程了。

3d03dc7f53d0884b485483ad26da87bf.png

(6)最后我们返回到System/Indices -> Indices 菜单,点击刚才创建的索引。就能看到新创建的4xx_5xx_log索引详情了。

1e3c91408e74fad6b9e3514d2e182a7f.png

f3aca60124846d856fd10170557b9287.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值