Zabbix监控openstack系统资源

于 2023-12-02 15:19:51 发布
阅读量977 收藏 26
点赞数 28
分类专栏： Zabbix技术文档 文章标签： zabbix openstack 腾讯云 网络 运维开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MichaelCoCoQ/article/details/134752504
版权

一、简介

随着信息技术的不断发展，作为基础平台,封闭架构带来不兼容性,无法支持异构虚拟机系统,也难以支撑开放合作的产业链需求。随着云计算时代的来临,虚拟化管理平台向开放平台架构转变,多种厂家的虚拟机可以在开放的平台架构下共存,不同的应用厂商可以基于开放平台架构使其应用不断的丰富。它不仅可以提供更加高效的计算速度和存储空间，还可以大大降低成本，提高企业的竞争力。监控也随之兼容满足云平台的日常监控运维工作的手段。那么对于Openstack运维人员来说，需要掌握Openstack云平台系统资源的整体运行情况，包括域(AZ)的cpu/menmory等资源使用情况，将介绍使用zabbix结合openstack python-api对openstack系统资源进行监控。

二、数据获取

1、使用控制台获取域(AZ)监控信息，使用如下命令可以获取当前openstack的所有可用域。

nova availability-zone-list
+-----------------------+----------------------------------------+
| Name                  | Status                                 |
+-----------------------+----------------------------------------+
| internal              | available                              |
| |- computer03         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:07.000000 |
| |- computer04         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:08.000000 |
| |- computer05         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:13.000000 |
| |- computer06         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:05.000000 |
| |- computer07         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:05.000000 |
| |- computer08         |                                        |
| | |- nova-storage     | enabled :-) 2018-10-18T10:56:07.000000 |
| |- controler02        |                                        |
| | |- nova-conductor   | enabled XXX 2017-10-09T09:46:27.000000 |
| | |- nova-consoleauth | enabled XXX 2017-10-09T09:46:37.000000 |
| | |- nova-monitor     | enabled :-) 2018-10-18T10:56:11.000000 |
| | |- nova-scheduler   | enabled XXX 2017-10-09T09:46:37.000000 |
| | |- nova-cert        | enabled XXX 2017-10-09T09:46:37.000000 |
| |- controller01       |                                        |
| | |- nova-conductor   | enabled :-) 2018-10-18T10:56:11.000000 |
| | |- nova-consoleauth | enabled :-) 2018-10-18T10:56:04.000000 |
| | |- nova-monitor     | enabled :-) 2018-10-18T10:56:07.000000 |
| | |- nova-scheduler   | enabled :-) 2018-10-18T10:56:09.000000 |
| | |- nova-cert        | enabled :-) 2018-10-18T10:56:12.000000 |
| IMS                   | available                              |
| |- computer03         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:07.000000 |
| |- computer04         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:05.000000 |
| |- computer08         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:13.000000 |
| paas                  | available                              |
| |- computer05         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:07.000000 |
| |- computer06         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:13.000000 |
| |- computer07         |                                        |
| | |- nova-compute     | enabled :-) 2018-10-18T10:56:04.000000 |
+-----------------------+----------------------------------------+

由结果可以看出，该系统含有两个域： IMS 和 paas ,但是该命令结果不太直观，不容易提取，我们也可以使用如下命令：

nova aggregate-list
+----+---------+-------------------+
| Id | Name    | Availability Zone |
+----+---------+-------------------+
| 1  | IMS+RCS | IMS               |
| 4  | paas    | paas              |
+----+---------+-------------------+

 根据 aggregate-list ，我们可以查看域对应的计算节点：

nova aggregate-details paas
+----+------+-------------------+------------------------------------------+--------------------------+
| Id | Name | Availability Zone | Hosts                                    | Metadata                 |
+----+------+-------------------+------------------------------------------+--------------------------+
| 4  | paas | paas              | 'computer07', 'computer05', 'computer06' | 'availability_zone=paas' |
+----+------+-------------------+------------------------------------------+--------------------------+

由结果可知，paas域，一共包含三个computer节点，对于每个节点的使用情况，我们一样可以通过命令获取：

nova hypervisor-show computer07
+---------------------------+------------+
| Property                  | Value      |
+---------------------------+------------+
| free_disk_gb              | 55         |
| free_ram_mb               | 126156     |
| host_ip                   | 193.2.0.37 |
| hypervisor_hostname       | computer07 |
| hypervisor_type           | QEMU       |
| id                        | 9          |
| local_gb                  | 445        |
| local_gb_used             | 390        |
| memory_mb                 | 257740     |
| memory_mb_used            | 131584     |
| npt_ept                   | ept        |
| pci_pools                 | -          |
| running_vms               | 8          |
| service_disabled_reason   | -          |
| service_host              | computer07 |
| service_id                | 27         |
| state                     | up         |
| status                    | enabled    |
| vcpus                     | 48         |
| vcpus_used                | 32         |
+---------------------------+------------+
#部分信息

我们可以得知，该节点的vcpu总数及其使用情况,memory_mb总数及其使用情况。

将每个节点的使用情况均获取后，经过计算，就可以得出域的资源整体使用情况。对于云平台的整体使用情况，我们也可以通过命令行获取：

nova hypervisor-stats
+----------------------+---------+
| Property             | Value   |
+----------------------+---------+
| count                | 6       |
| current_workload     | 0       |
| disk_available_least | 304     |
| free_disk_gb         | 518     |
| free_ram_mb          | 961736  |
| local_gb             | 2670    |
| local_gb_used        | 2152    |
| memory_mb            | 1546440 |
| memory_mb_used       | 584704  |
| running_vms          | 42      |
| vcpus                | 288     |
| vcpus_used           | 172     |
+----------------------+---------+

上面我们讨论了使用命令行进行相关信息的获取，下面我们讨论使用python-api进行相关信息的获取与计算。

2、使用 openstack python-api 获取域监控信息

代码如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-
#imports
import json
from optparse import OptionParser
from novaclient import client as noclient
from novaclient import utils
#登录及授权
keystone = {}
keystone['os_username']='admin'
keystone['os_password']='keystone'
keystone['os_auth_url']='http://lb-vip:5000/v2.0/'
keystone['os_tenant_name']='admin'
nova_client = noclient.Client(2, keystone['os_username'], keystone['os_password'], keystone['os_tenant_name'], keystone['os_auth_url'])
def main():
    #获取云平台整体信息并打印
    total_info = nova_client.hypervisor_stats.statistics()._info.copy()
    print "total_info_vcpus:", total_info["vcpus"]
    print "total_info_vcpus_used:", total_info["vcpus_used"]
    print "total_info_memory_mb:", total_info["memory_mb"]
    print "total_info_memory_mb_used:", total_info["memory_mb_used"]
    print "total_info_running_vms:", total_info["running_vms"]
    #获取域列表信息
    aggregates = nova_client.aggregates.list()
    for aggregate in aggregates:
        #初始化每个域的资源统计变量
        vcpus = 0
        vcpus_used = 0
        memory_mb = 0
        memory_mb_used = 0
        running_vms = 0
        #获取每个aggregate信息，并保存对应的hostscomputer节点列表
        aggregate_info = aggregate._info.copy()
        print aggregate_info["id"], aggregate_info["name"], aggregate_info["availability_zone"], aggregate_info["hosts"]
        aggregate_hosts = aggregate_info["hosts"]
        #循环计算节点，保存相关资源信息
        for aggregate_host in aggregate_hosts:
            hypervisor_info = utils.find_resource(nova_client.hypervisors, aggregate_host)._info
            vcpus = vcpus + hypervisor_info["vcpus"]
            vcpus_used = vcpus_used + hypervisor_info["vcpus_used"]
            memory_mb = memory_mb + hypervisor_info["memory_mb"]
            memory_mb_used = memory_mb_used + hypervisor_info["memory_mb_used"]
            running_vms = running_vms + hypervisor_info["running_vms"]
        
        #打印域资源信息
        print "vcpus:", vcpus
        print "vcpus_used:", vcpus_used
        print "memory_mb:", memory_mb
        print "memory_mb_used:", memory_mb_used
        print "running_vms:", running_vms
if __name__ == "__main__":
    main()

执行该程序后，可以获取各个域节点的信息：

total_info_vcpus: 288
total_info_vcpus_used: 172
total_info_memory_mb: 1546440
total_info_memory_mb_used: 584704
total_info_running_vms: 42
1 IMS+RCS IMS [u'computer04', u'computer03', u'computer08']
vcpus: 144
vcpus_used: 84
memory_mb: 773220
memory_mb_used: 243200
running_vms: 20
4 paas paas [u'computer07', u'computer05', u'computer06']
vcpus: 144
vcpus_used: 88
memory_mb: 773220
memory_mb_used: 341504
running_vms: 22

经过适当的计算，我们就可以获取各个域分配及使用比例等信息。

上面我们就使用 python-api 打印出了所有需要的信息，但是对于监控来说，我们需要提取的是各个监控项的信息，这样才能方便的搜索和做图表展示；下面我们讨论结合zabbix进行相关信息的监控。

三、Zabbix获取监控信息

1、获取可用域信息列表

上面我们已经获取了所有的可用域信息，但对于zabbix来说，我们还需要返回固定格式的数据，供zabbix进行解析：

#!/usr/bin/python
# -*- coding: utf-8 -*-
#imports
import json
from optparse import OptionParser
from novaclient import client as noclient
from novaclient import utils
#登录及授权
keystone = {}
keystone['os_username']='admin'
keystone['os_password']='keystone'
keystone['os_auth_url']='http://lb-vip:5000/v2.0/'
keystone['os_tenant_name']='admin'
nova_client = noclient.Client(2, keystone['os_username'], keystone['os_password'], keystone['os_tenant_name'], keystone['os_auth_url'])
def main():
    r = {"data":[]}
    aggregates = nova_client.aggregates.list()
    for aggregate in aggregates:
        aggregate_info = aggregate._info.copy()
        r['data'].append( {"{#NAME}":aggregate_info["name"]} )
    print(json.dumps(r, indent=2, sort_keys=True, encoding="utf-8"))
if __name__ == "__main__":
    main()

执行后，返回的结果如下,可以通过供zabbix自动发现模版使用：

{
  "data": [
    {
      "{#AVAILABLE_ZONE}": "IMS",
      "{#NAME}": "IMS+RCS"
    },
    {
      "{#AVAILABLE_ZONE}": "paas",
      "{#NAME}": "paas"
    }
  ]
}

2、Item及LLD自动发配置

 云平台整体信息，Item设置如下：

openstack.total[vcpus]
openstack.total[vcpus_used]
openstack.total[memory_mb]
openstack.total[memory_mb_used]
openstack.total[running_vms]

获取{#NAME}后就可以根据监控项获取对应的监控内容了，zabbix自动发现自动发现key设置如下：

openstack.system.discovery

discovery下，设置监控Item,key设置如下：

openstack.zone[hosts,{#NAME}]
openstack.zone[vcpus,{#NAME}]
openstack.zone[vcpus_used,{#NAME}]
openstack.zone[memory_mb,{#NAME}]
openstack.zone[memory_mb_used,{#NAME}]
openstack.zone[running_vms,{#NAME}]

其中{#NAME}为第一步的脚本中返回的可用域对应的aggregate相关信息。

3、Agent自定义配置

对应的zabbix-agent.conf配置如下：

# /etc/zabbix/zabbix_agentd.d/userparameter_openstack-system.conf
UserParameter=openstack.system.discovery,python /etc/zabbix/zabbix_agentd.d/openstack-system.py --item discovery
UserParameter=openstack.total[*],python /etc/zabbix/zabbix_agentd.d/openstack-system.py --item total --moniter $1
UserParameter=openstack.zone[*],python /etc/zabbix/zabbix_agentd.d/openstack-system.py --item $1 --aggregate $2

对应的zabbix自动发现的监控脚本如下：

# /etc/zabbix/zabbix_agentd.d/openstack-system.py
#!/usr/bin/python
# -*- coding: utf-8 -*-
#imports
import json
from optparse import OptionParser
from novaclient import client as noclient
from novaclient import utils
#登录及授权
keystone = {}
keystone['os_username']='admin'
keystone['os_password']='keystone'
keystone['os_auth_url']='http://lb-vip:5000/v2.0/'
keystone['os_tenant_name']='admin'
nova_client = noclient.Client(2, keystone['os_username'], keystone['os_password'], keystone['os_tenant_name'], keystone['os_auth_url'])
def main():
    options = parse_args()
    if options.item=="discovery":
        zone_list()
    elif options.item=="total":
        total_moniter(options)
    else:
        zone_moniter(options)
#判断入参合法性
def parse_args():
    parser = OptionParser()
    valid_item = ["discovery", "total", "hosts", "vcpus", "vcpus_used", "memory_mb", "memory_mb_used", "running_vms"]
    parser.add_option("", "--item", dest="item", help="", action="store", type="string", default=None)
    parser.add_option("", "--moniter", dest="moniter", help="", action="store", type="string", default=None)
    parser.add_option("", "--aggregate", dest="aggregate", help="", action="store", type="string", default=None)
    (options, args) = parser.parse_args()
    if options.item not in valid_item:
        parser.error("Item has to be one of: "+", ".join(valid_item))
    return options
#获取可用域列表
def zone_list():
    r = {"data":[]}
    aggregates = nova_client.aggregates.list()
    for aggregate in aggregates:
        aggregate_info = aggregate._info.copy()
        r['data'].append( {"{#NAME}":aggregate_info["name"], "{#AVAILABLE_ZONE}":aggregate_info["availability_zone"]} )
    print(json.dumps(r, indent=2, sort_keys=True, encoding="utf-8"))
#获取云平台整体监控信息
def total_moniter(options):
    total_info = nova_client.hypervisor_stats.statistics()._info.copy()
    print (total_info[options.moniter])
#获取可用域对应的监控信息
def zone_moniter(options):
    aggregate = utils.find_resource(nova_client.aggregates, options.aggregate)
    aggregate_info = aggregate._info.copy()
    aggregate_hosts = aggregate_info["hosts"]
    if options.item=="hosts":
        print (aggregate_hosts)
    else:
        monitor_data = 0
        for aggregate_host in aggregate_hosts:
            hypervisor_info = utils.find_resource(nova_client.hypervisors, aggregate_host)._info
            monitor_data = monitor_data + hypervisor_info[options.item]
        print (monitor_data)
if __name__ == "__main__":
    main()

在zabbix上进行对应的配置后重启，将模版应用于主机，此时应当监控获取所有的可用域，并监控对应的信息。

4、参考资料

  1. Openstack 中zone ,aggregates和host及其应用：https://blog.csdn.net/ztejiagn/article/details/8948688
  2. nova 命令汇总四 ——计算相关命令：http://blog.51cto.com/13788458/2129157
  3. The novaclient Python API：https://docs.openstack.org/python-novaclient/latest/reference/api/index.html
  4. GitHub - larsks/openstack-api-samples：https://github.com/larsks/openstack-api-samples

探索技术无限可能，博主具有丰富监控模板资源及开发能力和项目管理经验，欢迎添加交流一起探讨，解决你的技术难题！

微信号:king_songax

MichaelCoCoQ
关注
  • 28
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于OpenStack资源监控系统
07-23
基于OpenStack资源监控系统 对虚拟机和物理机的 内存 cpu 磁盘等的监控
OpenStack云平台监控数据采集和处理的实践与优化
02-24
这些监控系统都很强大也很灵活，从普通的业务使用上来说，经过相关的配置、插件定制甚至是二次开发，完全可以完成对系统资源的监控与计量功能。但这些监控系统毕竟是独立的监控系统，并没有与OpenSta
Zabbix监控 Openstck实例
无与伦比jia的博客
04-18 1649
Zabbix-OpenStack-Instance Monitoring OpenStack Instance Info with Zabbix referred from https://github.com/superbigsea/zabbix-kvm As we all know,Openstack has plenty of Compute nodes .Each Compute node...
zabbix监控 openstack 的实例的资源使用情况
weixin_34355715的博客
09-27 619
领导提出的需求： 在不给云主机安装客户端的情况下，监控云主机的 cpui 内存 网络 io，并且能出图。想了几个方案：1、ceilometer取数据，存入mangodb，用zabbix来读mangodb数据绘图2ceilometer取数据，gnocchi来聚合数据，grafana来出图3ceilometer取数据，直接把取到的数据通过zabbix trapper...
OpenStack与监控系统
A1234
09-04 2153
数据监控和展示是云平台中重要的部分，随着节点数目和所需监控对象的数量的增加，一个强大、健全、可扩展的监控系统才能满足各类用户的需求。它是一个云平台非常重要的特性，也是评估一个IAAS的可运维程度的参考。 首先我们需要看看目前众多云平台的监控现状。 Contents [hide] 第一类监控服务 第二类监控服务 第三类监控服务 在OpenStack如何实现强大的监控系
openstack开发之--监控 zabbix安装篇
weixin_34102807的博客
05-06 503
2019独角兽企业重金招聘Python工程师标准>>> ...
使用Zabbix监控openstack的系统资源
乐维社区的博客
12-01 1056
1 简介对于Openstack运维人员来说，需要掌握Openstack云平台系统资源的整体运行情况，包括域(AZ)的cpu/menmory等资源使用情况；本文将介绍使用zabbix结合openstack python-api对openstack系统资源进行监控。2 使用控制台获取域(AZ)监控信息使用如下命令可以获取当前openstack的所有可用域。由结果可以看出，该系统含有两个域： IMS 和 paas。
OpenStack监控工具
ITmoster的博客
08-07 2219
OpenStack 监控提供对 IT 环境中运行的关键 OpenStack 云服务的运行状况和性能的全面可见性。它有助于跟踪 Openstack 资源，例如计算实例、映像、网络代理、煤渣存储块和更多元服务。此外，OpenStack 监控消除了不断监视云服务和分配 IT 管理员分析性能问题的根本原因的麻烦。通过设置一个工具来监控 Openstack 系统，它会自动发现、隔离并在检测到潜在威胁时向管理员发出警报。
zabbix-6.4.13.tar.gz
最新发布
05-29
在OpenStack这样的云计算环境中，Zabbix的集成至关重要，它可以帮助管理员监控OpenStack组件的状态，及时发现并解决问题。 1. Zabbix 6.4.13新特性 - **增强的性能**：新版本提升了整体性能，处理大量数据和事件的...
openstack-rocky环境部署.rar
11-04
11. **监控与日志**：为了确保系统的健康运行，需要设置监控工具（如Zabbix或Grafana）和日志收集系统（如Logstash和Elasticsearch）。这些工具帮助管理员识别和解决问题。 12. **安全与隔离**：在多节点环境中，...
prometheus监控openstack规则
02-16
prometheus监控规则大全 node规则，redis监控，es监控，vmware监控，ipmi监控，ceph监控，etcd监控，k8s监控，mysql监控，openstack监控，os监控，交换机监控，windows监控，cdh监控，calico监控规则监控
跨数据中心的统一监控研究与实现
01-19
提出了一种能够支撑多数据中心和多私有云环境的监控系统...通过采用分布式框架，重新封装Zabbix API和OpenStack API，实现了压力分担、易于扩展的统一监控系统。该方案对于研究类似的分布式集群调度系统具有重要意义。
OpenStack监控：Monasca的性能改进
NewTyun的博客
05-07 854
在StackHPC，我们使用Kolla-Ansible部署Monasca，这是一种与OpenStack集成的多租户监控即服务解决方案，允许用户将InfluxDB部署为时间序列数据库。由于...
Openstack云平台脚本部署之Nagios监控（十九）
梅馨嫣栀
11-06 457
Openstack云平台脚本部署之Nagios监控
OPENSTACK安装监控报警组件
weixin_30871293的博客
07-18 551
控制节点执行如下的脚本：#!/bin/bash MYSQL_ROOT_PASSWD='m4r!adbOP' GNOCCHI_PASSWD='gnocchi1234!' CEILOMETER_PASSWD='ceilometer1234!' RABBIT_PASSWD='0penstackRMQ' AODH_PASSWD='aodh1234!' controllerHost='controller'...
openstack mysql log_OpenStack 高性能监控工具：Monasca
weixin_32407355的博客
01-28 223
介绍Monasca 是一个多租户监控即服务工具，可以帮助IT团队分析日志数据并设置告警和通知。OpenStack环境中的监控需求是巨大，多样且高度复杂的。Monasca的项目任务是提供一种多租户，高度可扩展，高性能和容错的监控即服务解决方案。Monasca为高级监控提供了可扩展的平台，运营商和租户均可使用该平台来获取有关其基础架构和应用的运行状态。Monasca使用REST API进行高速的日志处...
openstack 监控 - 整合nagios 调研总结
weixin_33755557的博客
09-26 208
https://blog.csdn.net/soft_lawrency/article/details/8590562
Openstack云平台脚本部署之Ganglia监控（十八）
梅馨嫣栀
11-06 365
Openstack云平台脚本部署之Ganglia监控
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MichaelCoCoQ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值