8.ElasticSearch预警服务-Watcher详解-监控Marvel数据

最新推荐文章于 2024-09-19 09:39:54 发布
最新推荐文章于 2024-09-19 09:39:54 发布
阅读量708 收藏
点赞数
分类专栏： ElasticSearch 文章标签： ElasticSearch Watcher

8.ElasticSearch预警服务-Watcher详解-监控Marvel数据
如果ElasticSearch集群部署了Marvel相关的服务，那么就可以安装Watcher来监控异常情况的产生并发送预警。
例如可以在以下情况下配置Watch Action动作.
1.集群监控状态监控
2.高内存使用率
3.高CPU使用率
4.高文件目录空间
5.高FieldData 缓存使用
6.节点加入或者脱离集群
使用Watcher查询Marvel存储的集群信息数据，请注意Marvel数据是否存储正常。

 

1.监控集群状态配置：
 每分钟检测一次,如果集群状态持续Red状态60秒，则触发预警动作。

 

 PUT _watcher/watch/cluster_red_alert
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": ".marvel-*",
        "types": "cluster_stats",
        "body": {
          "query": {
            "filtered": {
              "filter": {
                "bool": {
                  "must": [
                    {
                      "range": {
                        "@timestamp": {
                          "gte": "now-2m",
                          "lte": "now"
                        }
                      }
                    }
                  ],
                  "should": [
                    {
                      "term": {
                        "status.raw": "red"
                      }
                    },
                    {
                      "term": {
                        "status.raw": "green"
                      }
                    },
                    {
                      "term": {
                        "status.raw": "yellow"
                      }
                    }
                  ]
                }
              }
            }
          },
          "fields": ["@timestamp","status"],
          "sort": [
            {
              "@timestamp": {
                "order": "desc"
              }
            }
          ],
          "size": 1,
          "aggs": {
            "minutes": {
              "date_histogram": {
                "field": "@timestamp",
                "interval": "5s"
              },
              "aggs": {
                "status": {
                  "terms": {
                    "field": "status.raw",
                    "size": 3
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "throttle_period": "30m", 
  "condition": {
    "script": {
      "inline": "if (ctx.payload.hits.total < 1) return false; def rows = ctx.payload.hits.hits; if (rows[0].fields.status[0] != 'red') return false; if (ctx.payload.aggregations.minutes.buckets.size() < 12) return false; def last60Seconds = ctx.payload.aggregations.minutes.buckets[-12..-1]; return last60Seconds.every { it.status.buckets.every { s -> s.key == 'red' } }"
    }
  },
  "actions": {
    "send_email": { 
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "Watcher Notification - Cluster has been RED for the last 60 seconds",
        "body": "Your cluster has been red for the last 60 seconds."
      }
    }
  }
}

 2.监控内存使用
每分钟检测一次，如果60秒内集群内存使用大于75%，则发送预警邮件

 

 

PUT _watcher/watch/mem_watch
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": [
          ".marvel-*"
        ],
        "search_type": "count",
        "body": {
          "query": {
            "filtered": {
              "filter": {
                "range": {
                  "@timestamp": {
                    "gte": "now-2m",
                    "lte": "now"
                  }
                }
              }
            }
          },
          "aggs": {
            "minutes": {
              "date_histogram": {
                "field": "@timestamp",
                "interval": "minute"
              },
              "aggs": {
                "nodes": {
                  "terms": {
                    "field": "node.name.raw",
                    "size": 10,
                    "order": {
                      "memory": "desc"
                    }
                  },
                  "aggs": {
                    "memory": {
                      "avg": {
                        "field": "jvm.mem.heap_used_percent"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "throttle_period": "30m", 
  "condition": {
    "script":  "if (ctx.payload.aggregations.minutes.buckets.size() == 0) return false; def latest = ctx.payload.aggregations.minutes.buckets[-1]; def node = latest.nodes.buckets[0]; return node && node.memory && node.memory.value >= 75;"
  },
  "actions": {
    "send_email": {
      "transform": {
        "script": "def latest = ctx.payload.aggregations.minutes.buckets[-1]; return latest.nodes.buckets.findAll { return it.memory && it.memory.value >= 75 };"
      },
      "email": { 
        "to": "<username>@<domainname>", 
        "subject": "Watcher Notification - HIGH MEMORY USAGE",
        "body": "Nodes with HIGH MEMORY Usage (above 75%):\n\n{{#ctx.payload._value}}\"{{key}}\" - Memory Usage is at {{memory.value}}%\n{{/ctx.payload._value}}"
      }
    }
  }
}

 3.CPU使用率监控
每分钟执行一次，如果60秒CPU使用率大于75%，则发送预警邮件。

 

PUT _watcher/watch/cpu_usage
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": [
          ".marvel-*"
        ],
        "search_type": "count",
        "body": {
          "query": {
            "filtered": {
              "filter": {
                "range": {
                  "@timestamp": {
                    "gte": "now-2m",
                    "lte": "now"
                  }
                }
              }
            }
          },
          "aggs": {
            "minutes": {
              "date_histogram": {
                "field": "@timestamp",
                "interval": "minute"
              },
              "aggs": {
                "nodes": {
                  "terms": {
                    "field": "node.name.raw",
                    "size": 10,
                    "order": {
                      "cpu": "desc"
                    }
                  },
                  "aggs": {
                    "cpu": {
                      "avg": {
                        "field": "os.cpu.user"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "throttle_period": "30m", 
  "condition": {
    "script":  "if (ctx.payload.aggregations.minutes.buckets.size() == 0) return false; def latest = ctx.payload.aggregations.minutes.buckets[-1]; def node = latest.nodes.buckets[0]; return node && node.cpu && node.cpu.value >= 75;"
  },
  "actions": {
    "send_email": { 
      "transform": {
        "script": "def latest = ctx.payload.aggregations.minutes.buckets[-1]; return latest.nodes.buckets.findAll { return it.cpu && it.cpu.value >= 75 };"
      },
      "email": {
        "to": "user@example.com", 
        "subject": "Watcher Notification - HIGH CPU USAGE",
        "body": "Nodes with HIGH CPU Usage (above 75%):\n\n{{#ctx.payload._value}}\"{{key}}\" - CPU Usage is at {{cpu.value}}%\n{{/ctx.payload._value}}"
      }
    }
  }
}

 4.监控文件目录
每分钟检测一次，如果节点目录使用率大于80%，则发送预警邮件

PUT _watcher/watch/open_file_descriptors

{
  "metadata": {
    "system_fd": 65535,
    "threshold": 0.8
  },
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": [
          ".marvel-*"
        ],
        "types": "node_stats",
        "search_type": "count",
        "body": {
          "query": {
            "filtered": {
              "filter": {
                "range": {
                  "@timestamp": {
                    "gte": "now-1m",
                    "lte": "now"
                  }
                }
              }
            }
          },
          "aggs": {
            "minutes": {
              "date_histogram": {
                "field": "@timestamp",
                "interval": "5s"
              },
              "aggs": {
                "nodes": {
                  "terms": {
                    "field": "node.name.raw",
                    "size": 10,
                    "order": {
                      "fd": "desc"
                    }
                  },
                  "aggs": {
                    "fd": {
                      "avg": {
                        "field": "process.open_file_descriptors"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "throttle_period": "30m", 
  "condition": {
    "script": "if (ctx.payload.aggregations.minutes.buckets.size() == 0) return false; def latest = ctx.payload.aggregations.minutes.buckets[-1]; def node = latest.nodes.buckets[0]; return node && node.fd && node.fd.value >= (ctx.metadata.system_fd * ctx.metadata.threshold);"
  },
  "actions": {
    "send_email": { 
      "transform": {
        "script": "def latest = ctx.payload.aggregations.minutes.buckets[-1]; return latest.nodes.buckets.findAll({ return it.fd && it.fd.value >= (ctx.metadata.system_fd * ctx.metadata.threshold) }).collect({ it.fd.percent = Math.round((it.fd.value/ctx.metadata.system_fd)*100); it });"
      },
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "Watcher Notification - NODES WITH 80% FILE DESCRIPTORS USED",
        "body": "Nodes with 80% FILE DESCRIPTORS USED (above 80%):\n\n{{#ctx.payload._value}}\"{{key}}\" - File Descriptors is at {{fd.value}} ({{fd.percent}}%)\n{{/ctx.payload._value}}"
      }
    }
  }
}

 5.监控Field 缓存相关
每分钟执行一次，如果使用率大于80%，则发送预警邮件。

PUT _watcher/watch/fielddata_utilization
{
  "metadata": {
    "fielddata_cache_size": 100000, 
    "threshold": 0.8
  },
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": [
          ".marvel-*"
        ],
        "types": "node_stats",
        "search_type": "count",
        "body": {
          "query": {
            "filtered": {
              "filter": {
                "range": {
                  "@timestamp": {
                    "gte": "now-1m",
                    "lte": "now"
                  }
                }
              }
            }
          },
          "aggs": {
            "minutes": {
              "date_histogram": {
                "field": "@timestamp",
                "interval": "5s"
              },
              "aggs": {
                "nodes": {
                  "terms": {
                    "field": "node.name.raw",
                    "size": 10,
                    "order": {
                      "fielddata": "desc"
                    }
                  },
                  "aggs": {
                    "fielddata": {
                      "avg": {
                        "field": "indices.fielddata.memory_size_in_bytes"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "throttle_period": "30m", 
  "condition": {
    "script": "if (ctx.payload.aggregations.minutes.buckets.size() == 0) return false; def latest = ctx.payload.aggregations.minutes.buckets[-1]; def node = latest.nodes.buckets[0]; return node && node.fielddata && node.fielddata.value >= (ctx.metadata.fielddata_cache_size * ctx.metadata.threshold);"
  },
  "actions": {
    "send_email": { 
      "transform": {
        "script": "def latest = ctx.payload.aggregations.minutes.buckets[-1]; return latest.nodes.buckets.findAll({ return it.fielddata && it.fielddata.value >= (ctx.metadata.fielddata_cache_size * ctx.metadata.threshold) }).collect({ it.fielddata.percent = Math.round((it.fielddata.value/ctx.metadata.fielddata_cache_size)*100); it });"
      },
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "Watcher Notification - NODES WITH 80% FIELDDATA UTILIZATION",
        "body": "Nodes with 80% FIELDDATA UTILIZATION (above 80%):\n\n{{#ctx.payload._value}}\"{{key}}\" - Fielddata utilization is at {{fielddata.value}} bytes ({{fielddata.percent}}%)\n{{/ctx.payload._value}}"
      }
    }
  }
}

 6.监控集群节点
每分钟执行一次，如果有Node加入或者离开集群，则发送预警邮件。

PUT _watcher/watch/node_event
{
  "trigger": {
    "schedule": {
      "interval": "60s"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": [
          ".marvel-*"
        ],
        "search_type": "query_then_fetch",
        "body": {
          "query": {
            "filtered": {
              "query": {
                "bool": {
                  "should": [
                    {
                      "match": {
                        "event": "node_left"
                      }
                    },
                    {
                      "match": {
                        "event": "node_joined"
                      }
                    }
                  ]
                }
              },
              "filter": {
                "range": {
                  "@timestamp": {
                    "from": "{{ctx.trigger.scheduled_time}}||-60s",
                    "to": "{{ctx.trigger.triggered_time}}"
                  }
                }
              }
            }
          },
          "fields": [
            "event",
            "message",
            "cluster_name"
          ],
          "sort": [
            {
              "@timestamp": {
                "order": "desc"
              }
            }
          ]
        }
      }
    }
  },
  "throttle_period": "60s", 
  "condition": {
    "script": {
      "inline": "ctx.payload.hits.size() > 0 "
    }
  },
  "actions": {
    "send_email": { 
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "{{ctx.payload.hits.hits.0.fields.event}} the cluster",
        "body": "{{ctx.payload.hits.hits.0.fields.message}} the cluster {{ctx.payload.hits.hits.0.fields.cluster_name}} "
      }
    }
  }
}

 

corejava999
关注
专栏目录
【Elasticsearch】 es watcher 视频 笔记
九师兄
06-29 218
1.概述 视频地址：https://www.bilibili.com/video/BV1uJ411g7ju?from=search&seid=16510000610773477650 可以开启30的试用功能 2种方式创建 基于阈值的告警 基于高级功能的告警
Elasticsearch的Watcher插件
weixin_33762321的博客
08-18 755
2019独角兽企业重金招聘Python工程师标准>>> ...
ElasticSearch预警服务-Watcher详解-Schedule配置_es watcher
2401_84248479的博客
04-15 943
最近公司需求要搭建一个监控系统，用来监控程序运行状态，请求曲线，错误日志发生次数，等等分析，保障系统稳定性。因此最近研究了基于Lucene 号称企业级搜索服务的ElasticSearch ，用了一段时间发现速度还真快，对百万级甚至千万级的数据检索毫无压力，比之前用的MongoDB速度快了不少。
Elasticsearch：一次生产集群 ES Watcher 失效的深度排查与分析 - 全过程剖析与解决方案
最新发布
Elastic 中国社区官方博客
09-19 1556
Watcher是 Elasticsearch 提供的一项监控和告警服务，允许用户定义、管理警报规则，并持续跟踪网络和数据的变化。基于 Elasticsearch 的分布式架构，Watcher 可以对基础设施、索引数据、集群健康等多种指标进行实时监控和自动化告警。当预设条件被触发时，Watcher 会及时发送通知。这项功能特别适用于日志数据的监控、应用性能追踪，以及其他需要自动化响应的场景，帮助运维人员快速响应潜在问题，提升系统稳定性和可靠性。1）定时监控数据。
ElasticSearch警报和通知产品 Watcher功能介绍
宇智波带土
05-20 819
ElasticSearch警报和通知产品 Watcher(守望者)即将发布： (官方地址：https://www.elastic.co/products/watcher)   Watcher： Watcher是即将发布的警报和通知产品，基于Elasticsearch的数据预警衍生产品。简单地定义一个条件，一个时间计划，触发指定条件后Watcher会执行相关的警报和通知。   几大功能...
ElasticSearch的监控与报警
AI天才研究院
01-21 1109
1.背景介绍 ElasticSearch是一个分布式、实时、高性能的搜索和分析引擎，它可以处理大量数据并提供快速、准确的搜索结果。在实际应用中，ElasticSearch的性能和可用性对于企业的运营至关重要。因此，监控和报警是ElasticSearch的关键组成部分。 1. 背景介绍 ElasticSearch的监控和报警可以帮助我们及时发现问题，提高系统的可用性和稳定性。监控可以帮助我们了...
elasticsearch-analysis-ik-7.3.2.zip
09-15
《Elasticsearch中文分词器IK插件详解》 Elasticsearch（ES）作为一个强大的全文搜索引擎，其在处理中文文档时，对中文分词的准确性和效率有着至关重要的作用。"elasticsearch-analysis-ik"是ES中最受欢迎的中文...
jmeter-elasticsearch-backend-listener：JMeter插件，可让您将示例结果发送到ElasticSearch引擎以启用实时监视负载测试
01-30
JMeter ElasticSearch后端侦听器是一个JMeter插件，使您可以将测试结果发送到ElasticSearch引擎。 它是JMeter的内置“ InfluxDB”后端侦听器的替代实时监视工具。 产品特点 ElasticSearch低级REST客户端使用低级...
windows最新版 elasticsearch-7.17.0-windows-x86_64.zip
04-28
Elasticsearch是一个开源的全文搜索引擎，它在大数据分析和实时搜索领域扮演着重要角色。这款软件基于Apache Lucene构建，提供了分布式、RESTful风格的搜索和数据分析能力，广泛应用于日志分析、信息检索、网站搜索...
elasticsearch-7.0.0-linux-x86_64.tar.gz
08-26
Elasticsearch是一个强大的开源搜索引擎，广泛应用于大数据分析、日志聚合、实时搜索等多个领域。它的7.0.0版本是针对Linux操作系统优化的版本，具备高效、可扩展和易用的特点。在Linux环境下运行Elasticsearch，...
Python库 | aws_cdk.aws_elasticsearch-1.66.0-py3-none-any.whl
03-14
Elasticsearch是流行的大数据搜索引擎和分析引擎，广泛应用于日志分析、实时监控、数据可视化以及复杂的全文搜索。在AWS AES中，开发者可以轻松地扩展Elasticsearch集群以处理大规模数据，同时利用AWS的全球基础设施...
ElasticSearch预警服务-Watcher安装指南及案例介绍
hebeind100的博客
05-21 233
本文将介绍如何安装Watcher服务，并介绍相关的功能特征。 1.Watcher服务的安装     目前Watcher服务处于Beta阶段，使用者可以申请最新的beta-key，然后通过插件的方式进行安装   Java代码   bin/plugin -i elasticsearch/watcher/&lt;watcher-beta-key&gt;      2...
2.ElasticSearch预警服务-Watcher详解
宇智波带土
05-21 494
Watcher的核心组成部分：1.Trigger:决定何时触发,必须对每个Watcher指定2.Input:将数据加载到Context中3.Condition:根据条件决定师傅执行Action操作,如不设置，默认总是执行4.Transform：可选传输设置：处理及数据Load过程设置5.Actions：动作：零个或者多个执行动作设定完整的案例： PUT _watcher/watch/log_...
10.ElasticSearch预警服务-Watcher详解-管理Watcher服务
宇智波带土
05-28 780
ElasticSearch预警服务-Watcher详解-管理Watcher服务1.监听Watcher相关的数据存储在.watches索引中，该索引具有只读权限，必须通过API来创建，更新和删除。 GET .watches/_search { "fields" : [], "query" : {"match_all" : { } } }  2.通过Ki...
ElasticSearch预警服务-Watcher详解-Schedule配置
qq_40907977的博客
03-08 2157
介绍 Watcher服务详解-定时器的设定 关于Schedule配置选择，Watcher提供了丰富的时间语法支持，采用UTC时间，来我们一起看下如何设置: 支持的设置方式： hourly:按小时周期设置 daily:按天周期设置 weekly:按周周期设置 monthly:按月周期设置 yearly:按年周期设置 cron:Cron表达式设置 interval :固定周期设置 详细案例： ...
9.ElasticSearch预警服务-Watcher详解-监控时间线数据
宇智波带土
05-27 1078
来看个小例子：固定周期采集数据，并设置数据预警机制采集数据配置，拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本 地址：https://www.elastic.co/products/logstash   2.安装rss插件 cd logstash-1.5.0 bin/plugin install logstash-input-rss ...
Elasticsearch：开始使用 Watcher
Elastic 中国社区官方博客
07-05 4099
我在之前的文章中已经创建了一些关于如何创建一个 Watcher。请参阅文章 “Elastic：菜鸟上手指南” 里的 “通知及警报” 部分。在其中的一篇文章 “Elastic：创建你的第一个Elastic watcher” 中，可能会涉及到两个机器的配置，不编译实验。在今天的文章中，我将使用一台机器来进行展示。 在这里我必须指出的是：Watchers 和 Alerts 都可以发出警报，但是 Watchers 是在 Elasticsearch 中运行的，而 Alerts 是在 Kibana 里运行的。 .
Elasticsearch监控插件Marvel的安装使用
donghaixiaolongwang的博客
01-24 5246
虽然ES已经提供了很多API进行集群监控和管理，但是还是不太直观和方便。 因此Marvel产生了，为监控ES而生。     安装配置： 方式一：直接安装在集群中，非常不建议这样做，因为监控会产生很多数据。这种方式测试玩的时候还可以。 https://www.elastic.co/guide/en/marvel/current/getting-started.html   方式二：将
elasticsearch之watcher插件安装文档
大数据技术博客
01-05 4976
elasticsearch之watcher插件安装文档 watcher插件可以提供elasticsearch集群的监控提醒功能。 You need to install the License and Watcher plugins on each node in your cluster. 你需要在你的集群中所有节点安装license和watcher插件 安装watcher插件 1：安...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值