问题背景
如果我们没有部署成套的监控系统,如产品平台的grafana
类,后台的 nmon、夜莺监控等等,又想自动化收集测试期间的系统资源使用情况,可以使用 psutil 实现自己可控的效果。
思路与目标
要在Linux环境下使用 python 监控性能指标(如CPU、内存、磁盘使用情况),你可以直接读取 /proc
文件系统中的相关信息,或者使用第三方库来简化操作。我们使用 psutil 来简化操作,目标是每秒或每 2 秒采集一次数据,结果写入到 csv(等同于 excel)文件。
每 2 秒是为了减轻监控程序对主测试项的干扰,同样的, 优秀的监控平台很多,我们自行实现也是为了弱化现有监控系统的黑盒程度。
准备工作
由于使用 esrally 测试,我本地已有 python 3 版本的环境。
pip3 install psutil
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: psutil in ./python3/Python-3.10/lib/python3.10/site-packages (5.9.4)
代码实现
import psutil
import time
def monitor_resources(interval=1):
print("开始监控系统资源...")
# 监控循环
while True:
# CPU使用率
cpu_percent = psutil.cpu_percent(interval=interval)
print(f"CPU使用率: {cpu_percent}%")
# 内存使用情况
memory = psutil.virtual_memory()
memory_used_percent = memory.percent
print(f"内存使用率: {memory_used_percent}%")
# 磁盘使用情况,这里以根目录'/'为例
disk_usage = psutil.disk_usage('/')
disk_used_percent = disk_usage.percent
print(f"磁盘使用率 (根目录): {disk_used_percent}%")
# 暂停一段时间再次检查
time.sleep(interval)
# 你可以根据需要在某条件满足时跳出循环,比如监控特定时长后停止
# 示例:如果只想监控10秒,可以添加计数器或时间检查
# 调用函数开始监控
monitor_resources(interval=1)
考虑优化
磁盘使用率改为速率
一般在性能测试中磁盘空间并不重要,其带宽使用率更受关注,因此需要优化上述代码。
import psutil
import time
def monitor_resources(interval=1):
print("开始全面监控系统资源...")
# 初始化磁盘IO计数
prev_disk_io = psutil.disk_io_counters()
while True:
# CPU使用率
cpu_percent = psutil.cpu_percent(interval=interval)
print(f"CPU使用率: {cpu_percent}%")
# 内存使用情况
memory = psutil.virtual_memory()
memory_used_percent = memory.percent
print(f"内存使用率: {memory_used_percent}%")
# 磁盘读写速率监控
current_disk_io = psutil.disk_io_counters()
read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval
print(f"磁盘读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s")
print(f"磁盘写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")
prev_disk_io = current_disk_io # 更新前一次的磁盘IO计数
# 暂停一段时间再次检查
time.sleep(interval)
# 调用函数开始全面监控
monitor_resources(interval=1)
将输出写入到 csv
如果打印在屏幕上我们将无法进行后续的统计分析,我们首先将结果输出到文件中。
要将监控结果写入CSV文件,你可以使用Python的内置 csv
模块。下面是如何修改 monitor_resources(interval=1)
函数,使其输出结果保存到CSV文件中的示例:
import csv
import psutil
import time
def monitor_resources_to_csv(interval=1, filename='resources_monitor.csv'):
"""
监控系统资源并将结果写入CSV文件。
:param interval: 监控间隔,单位为秒。
:param filename: 输出的CSV文件名。
"""
print("开始监控系统资源并写入CSV...")
with open(filename, mode='w', newline='') as csvfile:
fieldnames = ['timestamp', 'cpu_usage', 'memory_usage', 'disk_read_rate', 'disk_write_rate']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader() # 写入表头
# 初始化磁盘IO计数
prev_disk_io = psutil.disk_io_counters()
while True:
timestamp = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
# CPU使用率
cpu_percent = psutil.cpu_percent(interval=interval)
# 内存使用情况
memory = psutil.virtual_memory()
memory_used_percent = memory.percent
# 磁盘读写速率监控
current_disk_io = psutil.disk_io_counters()
read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval
prev_disk_io = current_disk_io # 更新前一次的磁盘IO计数
# 将数据写入CSV
writer.writerow({
'timestamp': timestamp,
'cpu_usage': cpu_percent,
'memory_usage': memory_used_percent,
'disk_read_rate': read_bytes_sec / 1024 / 1024, # 转换为MB/s
'disk_write_rate': write_bytes_sec / 1024 / 1024, # 转换为MB/s
})
# 暂停一段时间再次检查
time.sleep(interval)
# 调用函数开始监控并写入CSV
monitor_resources_to_csv(interval=1)
这会在指定的 filename
路径下创建一个CSV文件,并将每次监控周期的CPU使用率、内存使用率以及磁盘读写速率记录下来。
每行数据包括时间戳、CPU使用率(%)、内存使用率(%)、磁盘读取速率(MB/s)和磁盘写入速率(MB/s)。请确保有权限写入指定的文件路径,并根据实际情况调整间隔时间interval
和文件名filename
。
监控特定的磁盘
磁盘读写速率监控使用了 psutil.disk_io_counters()
方法,默认情况下,这个方法提供的是整个系统所有磁盘设备的合计I/O统计信息,包括读取和写入的字节数、操作次数等。这意味着,当你运行上述脚本时,它监控的是系统上所有活动磁盘的总体读写速率。
如果你需要针对特定磁盘进行监控,可以指定磁盘名称(通常是其挂载点或设备名称),通过psutil.disk_io_counters(perdisk=True)
获取每个磁盘的详细I/O统计信息,然后根据磁盘名称筛选出你感兴趣的那一块磁盘:
def monitor_specific_disk_resources(interval=1):
print("开始监控特定磁盘资源...")
disks = psutil.disk_io_counters(perdisk=True) # 获取所有磁盘的I/O统计信息
# 初始化特定磁盘的IO计数
prev_disk_io = disks['/'] if '/' in disks else None
if prev_disk_io is None:
print("警告:无法找到根目录磁盘的I/O信息。")
return
while True:
current_disk_io = disks['/'] if '/' in disks else None
if current_disk_io is None:
print("警告:在本次检查中丢失了根目录磁盘的I/O信息。")
continue
# 计算读写速率(字节/秒)
read_bytes_sec = (current_disk_io.read_bytes - prev_disk_io.read_bytes) / interval
write_bytes_sec = (current_disk_io.write_bytes - prev_disk_io.write_bytes) / interval
# 打印读写速率
print(f"磁盘'/': 读取速率: {read_bytes_sec / 1024 / 1024:.2f} MB/s, 写入速率: {write_bytes_sec / 1024 / 1024:.2f} MB/s")
# 更新前一次的磁盘IO计数
prev_disk_io = current_disk_io
# CPU和内存监控部分保持不变,这里省略以聚焦于磁盘监控的修改部分
# ...
# 暂停一段时间再次检查
time.sleep(interval)
# 调用函数开始监控
monitor_specific_disk_resources(interval=1)
请注意,上述代码专注于展示如何针对特定磁盘(以根目录 /
为例)进行读写速率监控,而没有完整包含CPU和内存监控的部分以保持代码简洁性。在实际应用中,你要将这部分内容与之前的CPU和内存监控代码结合使用。
绘制动态图
暂无。
小结
虽然我们造轮子的技术很拙劣,但是自己动手丰衣足食,也很酷。