通过 Dr-Elephant 监控异常HIVE任务并报警

最新推荐文章于 2024-08-07 09:28:49 发布

阿武z

最新推荐文章于 2024-08-07 09:28:49 发布

阅读量477

点赞数 1

分类专栏：集群运维

本文链接：https://blog.csdn.net/xw514124202/article/details/103293534

版权

本文介绍了如何利用Dr-Elephant收集YARN作业信息，并将其存储到MySQL数据库的相关表中，如yarn_app_result、yarn_app_heuristic_result和yarn_app_heuristic_result_details。通过这些数据，可以实现对异常HIVE任务的监控和报警功能，最终展示详细的报警信息。

摘要由CSDN通过智能技术生成

Dr-Elephant收集到的YARN JOB信息后，存入对应的mysql表（yarn_app_result、yarn_app_heuristic_result、yarn_app_heuristic_result_details）

yarn_app_result （job是否有异常）
yarn_app_heuristic_result (job的异常指标)
yarn_app_heuristic_result_details (job的异常指标对应的详细说明)

通过mysql表里收集到的数据，进行监控异常并且报警

最后报警信息展示如下：

在这里插入图片描述

Code Demo

# coding: utf-8
import torndb
import time
import sys
import requests
reload(sys)
sys.setdefaultencoding('utf-8')


class DingDingUtil(object):
    dingtalk_url = "https://oapi.dingtalk.com/robot/send?access_token=xxxx"

    @staticmethod
    def send(msg):
        params = """{"msgtype": "text","text": {"content": "%s"},"at": {"isAtAll": true}}""" % msg
        headers = {
   "Content-Type": "application/json"}
        requests.post(DingDingUtil.dingtalk_url, data=params, headers=headers)


class DrElephantMonitor(object):
    severity_name_dict