使用psutil进行系统资源的快速监控（代码）

问题背景

如果我们没有部署成套的监控系统，如产品平台的grafana类，后台的 nmon、夜莺监控等等，又想自动化收集测试期间的系统资源使用情况，可以使用 psutil 实现自己可控的效果。

思路与目标

要在Linux环境下使用 python 监控性能指标（如CPU、内存、磁盘使用情况），你可以直接读取 /proc 文件系统中的相关信息，或者使用第三方库来简化操作。我们使用 psutil 来简化操作，目标是每秒或每 2 秒采集一次数据，结果写入到 csv（等同于 excel）文件。

每 2 秒是为了减轻监控程序对主测试项的干扰，同样的, 优秀的监控平台很多，我们自行实现也是为了弱化现有监控系统的黑盒程度。

准备工作

由于使用 esrally 测试，我本地已有 python 3 版本的环境。

pip3 install psutil

Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: psutil in ./python3/Python-3.10/lib/python3.10/site-packages (5.9.4)

代码实现

import psutil
import time

def monitor_resources(interval=1):
    print("开始监控系统资源...")
    
    # 监控循环
    while True:
        # CPU使用率
        cpu_percent = psutil.cpu_percent(interval=interval)
        print(f"CPU使用率: {cpu_percent}%")

        # 内存使用情况
        memory = psutil.virtual_memory()
        memory_used_percent = memory.percent
        print(f"内存使用率: {memory_used_percent}%")

        # 磁盘使用情况，这里以根目录'/'为例
        disk_usage = psutil.disk_usage('/')
        disk_used_percent = disk_usage.percent
        print(f"磁盘使用率 (根目录): {disk_used_percent}%")

        # 暂停一段时间再次检查
        time.sleep(interval)

        # 你可以根据需要在某条件满足时跳出循环，比如监控特定时长后停止
        # 示例：如果只想监控10秒，可以添加计数器或时间检查

# 调用函数开始监控
monitor_resources(interval=1)

考虑优化

磁盘使用率改为速率

一般在性能测试中磁盘空间并不重要，其带宽使用率更受关注，因此需要优化上述代码。

import psutil
import time

def monitor_resources(interval=1):
    print("开始全面监控系统资源...")
    
    # 初始化磁盘IO计数
    prev_disk_io = psutil.disk_io_counters()

    while True:
        # CPU使用率
        cpu_percent = psutil.cpu_percent(interval=interval)
        print(f"CPU使用率: {cpu_percent}%")

        # 内存使用情况
        memory = psutil.virtual_memory()
        memory_used_percent = memory.percent
        print(f"内存使用率: {memory_used_percent}%")

        # 磁盘读写速率监控
        current_disk_io = psutil.disk_io_counters()
        read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
        write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval
        print(f"磁盘读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s")
        print(f"磁盘写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")
        prev_disk_io = current_disk_io  # 更新前一次的磁盘IO计数

        # 暂停一段时间再次检查
        time.sleep(interval)

# 调用函数开始全面监控
monitor_resources(interval=1)

将输出写入到 csv

如果打印在屏幕上我们将无法进行后续的统计分析，我们首先将结果输出到文件中。

要将监控结果写入CSV文件，你可以使用Python的内置 csv 模块。下面是如何修改 monitor_resources(interval=1) 函数，使其输出结果保存到CSV文件中的示例：

import csv
import psutil
import time

def monitor_resources_to_csv(interval=1, filename='resources_monitor.csv'):
    """
    监控系统资源并将结果写入CSV文件。
    :param interval: 监控间隔，单位为秒。
    :param filename: 输出的CSV文件名。
    """
    print("开始监控系统资源并写入CSV...")
    
    with open(filename, mode='w', newline='') as csvfile:
        fieldnames = ['timestamp', 'cpu_usage', 'memory_usage', 'disk_read_rate', 'disk_write_rate']
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        writer.writeheader()  # 写入表头

        # 初始化磁盘IO计数
        prev_disk_io = psutil.disk_io_counters()

        while True:
            timestamp = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
            # CPU使用率
            cpu_percent = psutil.cpu_percent(interval=interval)
            # 内存使用情况
            memory = psutil.virtual_memory()
            memory_used_percent = memory.percent
            # 磁盘读写速率监控
            current_disk_io = psutil.disk_io_counters()
            read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
            write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval
            prev_disk_io = current_disk_io  # 更新前一次的磁盘IO计数
            
            # 将数据写入CSV
            writer.writerow({
                'timestamp': timestamp,
                'cpu_usage': cpu_percent,
                'memory_usage': memory_used_percent,
                'disk_read_rate': read_bytes_sec / 1024 / 1024,  # 转换为MB/s
                'disk_write_rate': write_bytes_sec / 1024 / 1024,  # 转换为MB/s
            })

            # 暂停一段时间再次检查
            time.sleep(interval)

# 调用函数开始监控并写入CSV
monitor_resources_to_csv(interval=1)

这会在指定的 filename 路径下创建一个CSV文件，并将每次监控周期的CPU使用率、内存使用率以及磁盘读写速率记录下来。

每行数据包括时间戳、CPU使用率（%）、内存使用率（%）、磁盘读取速率（MB/s）和磁盘写入速率（MB/s）。请确保有权限写入指定的文件路径，并根据实际情况调整间隔时间interval和文件名filename。

监控特定的磁盘

磁盘读写速率监控使用了 psutil.disk_io_counters() 方法，默认情况下，这个方法提供的是整个系统所有磁盘设备的合计I/O统计信息，包括读取和写入的字节数、操作次数等。这意味着，当你运行上述脚本时，它监控的是系统上所有活动磁盘的总体读写速率。

如果你需要针对特定磁盘进行监控，可以指定磁盘名称（通常是其挂载点或设备名称），通过psutil.disk_io_counters(perdisk=True)获取每个磁盘的详细I/O统计信息，然后根据磁盘名称筛选出你感兴趣的那一块磁盘：

def monitor_specific_disk_resources(interval=1):
    print("开始监控特定磁盘资源...")
    disks = psutil.disk_io_counters(perdisk=True)  # 获取所有磁盘的I/O统计信息
    
    # 初始化特定磁盘的IO计数
    prev_disk_io = disks['/'] if '/' in disks else None

    if prev_disk_io is None:
        print("警告：无法找到根目录磁盘的I/O信息。")
        return

    while True:
        current_disk_io = disks['/'] if '/' in disks else None

        if current_disk_io is None:
            print("警告：在本次检查中丢失了根目录磁盘的I/O信息。")
            continue

        # 计算读写速率（字节/秒）
        read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
        write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval

        # 打印读写速率
        print(f"磁盘'/': 读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s, 写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")

        # 更新前一次的磁盘IO计数
        prev_disk_io = current_disk_io

        # CPU和内存监控部分保持不变，这里省略以聚焦于磁盘监控的修改部分
        # ...

        # 暂停一段时间再次检查
        time.sleep(interval)

# 调用函数开始监控
monitor_specific_disk_resources(interval=1)

请注意，上述代码专注于展示如何针对特定磁盘（以根目录 / 为例）进行读写速率监控，而没有完整包含CPU和内存监控的部分以保持代码简洁性。在实际应用中，你要将这部分内容与之前的CPU和内存监控代码结合使用。

绘制动态图

暂无。

小结

虽然我们造轮子的技术很拙劣，但是自己动手丰衣足食，也很酷。