ES堆栈监测上的Logstash监控之概览，节点，管道简单汇总

最近要做一个类似于Kibana的Logstash监测，在网上找了好久都没有这一块的详细介绍，下面是我自己的一些观点，不对的话请见谅
1、堆栈监测Logstash首页概览

1、已接收事件和已发出事件是各个节点最新数据相加一起的结果
获取集群下的节点DSL语句
GET .monitoring-logstash-/_search
{
“track_total_hits”: true,
“aggs”: {
“data”: {
“terms”: {
“field”: “logstash_stats.logstash.name”
}
}
},
“query”: {
“bool”: {
“filter”: [
{
“range”: {
“timestamp”: {
“format”: “yyyy-MM-dd HH:mm:ss”,
“gte”: “2022-01-25 07:49:04”,
“lte”: “2022-01-26 07:49:04”
}
}
}
]
}
},
“size”: 0
}
返回结果：

2、根据返回的结果，执行下面的DSL语句，根据节点名称循环遍历获取最新的接收和发出事件数据然后相加得到最终结果：
GET .monitoring-logstash-/_search
{
“track_total_hits”: true,
“query”: {
“bool”: {
“filter”: [
{
“term”: {
“type”: “logstash_stats”
}
},
{
“term”: {
“logstash_stats.logstash.name”: “vm192t002.yto.cloud”
}
},
{
“range”: {
“timestamp”: {
“format”: “yyyy-MM-dd HH:mm:ss”,
“gte”: “2022-01-25 07:49:04”,
“lte”: “2022-01-26 07:49:04”
}
}
}
]
}
},
“sort”: [
{
“timestamp”: {
“order”: “desc”
}
}
],
“size”: 1
}
返回结果：

相同的道理：JVM堆也是循环遍历每个最新节点的JVM的heap_used_in_bytes和heap_max_in_bytes分别相加，然后取出来做计算

3、剩下的管道数据同样的

循环遍历每个节点的pipelines，根据类型的不同相加获取对应的队列个数，memory内存队列，persisted持久性队列

以上就是我对Logstash监测的概览的认知，希望对你有帮助，后续持续更新中…