Python监控RabbitMQ消息堆积，告警到企业微信群

随着企业业务的不断发展和壮大，对于系统稳定性和实时性的要求也越来越高。RabbitMQ作为一款高效且可靠的消息队列软件，在企业中发挥着举足轻重的作用。然而，当消息队列中的消息堆积过多时，不仅会影响系统的处理速度，还可能导致系统崩溃或数据丢失。因此，对RabbitMQ进行实时监控并在消息堆积达到一定程度时发出告警，成为了企业运维工作中不可或缺的一环。

本文将详细介绍如何使用Python实现RabbitMQ消息堆积的监控，并将告警信息发送到企业微信群聊中，以便团队成员能够迅速响应并处理。

一、RabbitMQ监控原理

RabbitMQ提供了丰富的管理API，我们可以通过这些API获取到RabbitMQ的运行状态、队列信息、消费者数量等关键指标。基于这些指标，我们可以编写Python脚本来实时监控RabbitMQ的消息堆积情况。

具体来说，我们可以定期（如每分钟）通过RabbitMQ的管理API获取到各个队列的消息数量。然后，我们可以将这些数据与之前获取的数据进行比较，计算出队列中消息的堆积速度。如果堆积速度超过了预设的阈值，就说明可能存在消息堆积问题，需要发出告警。

二、告警机制设计

当检测到RabbitMQ消息堆积达到预设阈值时，我们需要一种高效且可靠的方式来发出告警。在这里，我们选择了企业微信群聊作为告警信息的接收端。

企业微信作为一款企业内部沟通工具，具有消息实时性强、覆盖范围广、支持多种消息类型等优点。通过企业微信API，我们可以将告警信息以文本、图片、链接等多种形式发送到指定的群聊中，确保团队成员能够第一时间获取并处理异常情况。

为了实现告警机制，我们需要做以下几个方面的准备：

1. 注册企业微信账号并创建群聊：首先，我们需要注册一个企业微信账号，并创建一个用于接收告警信息的群聊。确保该群聊中的成员都是与RabbitMQ监控相关的团队成员。
2. 获取企业微信API权限：在企业微信后台中，我们需要为Python脚本配置相应的API权限，以便能够发送消息到指定的群聊。这通常包括获取企业ID、应用ID、应用Secret等关键信息。
3. 编写Python脚本：使用Python编写一个脚本，该脚本需要实现以下功能：
   • 定期（如每分钟）通过RabbitMQ管理API获取队列信息。
   • 计算队列中消息的堆积速度。
   • 判断消息堆积是否达到预设阈值。
   • 如果达到阈值，则调用企业微信API发送告警信息到指定群聊。

三、Python脚本实现

在实现Python脚本时，我们需要用到以下关键技术和库：

1. RabbitMQ管理API：使用Python的HTTP请求库（如requests）发送GET请求到RabbitMQ的管理API接口，获取队列信息。
2. 企业微信API：使用Python的requests库或专门的企业微信SDK来调用企业微信API发送消息。在发送消息时，需要构造一个包含接收者ID、消息内容等信息的JSON字符串，并将其作为POST请求的body发送给企业微信服务器。
3. 时间管理：使用Python的time库或schedule库来管理脚本的执行时间间隔，确保定期获取队列信息并计算消息堆积速度。

下面是一个Python脚本分享，用于演示如何实现RabbitMQ监控和告警功能：

#!/usr/bin/python
# -*- coding=utf-8
import datetime
import json
import os

import requests
from apscheduler.schedulers.blocking import BlockingScheduler


class RabbitMQ:
    def __init__(self, host, user, pwd, api):
        self.host = host
        self.user = user
        self.pwd = pwd
        self.api = api
        self.GiveAnAlarm()

    def ExecQuery(self):
        url = 'http://' + self.host + ':15672/' + self.api
        res = requests.get(url=url, auth=(self.user, self.pwd))
        queues_info = json.loads(res.content.decode())
        queuesinfos = []
        for i in range(len(queues_info)):
            if queues_info[i]['messages_ram'] > 500:
                queues = queues_info[i]['name'], queues_info[i]['messages_ram']
                queuesinfos.append(queues)
        return queuesinfos

    def GiveAnAlarm(self):
        info = self.ExecQuery()
        if info:
            queuescount = len(info)
            MessageTitle = '有<font color=\"warning\">%s</font>条MQ队列消息堆积,请及时处理.\n>' % queuescount
            Messagedetails = ''
            headers = {'Content-Type': 'application/json'}

            for i in range(queuescount):
                message = 'QueuesName:<font color=\"comment\"> %s</font>\n>Total:<font color=\"comment\"> %s</font>\n' % (
                    info[i][0], info[i][1])
                Messagedetails = Messagedetails + message

            data = {
                'msgtype': 'markdown',
                'markdown': {
                    'content': MessageTitle + Messagedetails
                }
            }
            # 企业机器人webhook地址
            webhook = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx'
            requests.post(url=webhook, data=json.dumps(data), headers=headers)
        else:
            pass


def quiryDbJob():
    print('Tick! The time is: %s' % datetime.datetime.now())
    # 需要监控到RabbitMQ到地址帐号、密码
    RabbitMQ(host='10.0.0.1', user="xxxx", pwd="xxxxxxxxx", api="api/queues")


def main():
    scheduler = BlockingScheduler()
    # 监控到频率
    scheduler.add_job(quiryDbJob, 'cron', hour='6-21', minute='*/10')
    print('Press--- Ctrl+{0} to exit'.format('Break' if os.name == 'nt' else 'C'))
    try:
        scheduler.start()
    except KeyboardInterrupt as SystemExit:
        print(SystemExit)
        scheduler.shutdown()


if __name__ == '__main__':
    main()