1. QPS
QPS ( Queries Per Second ) 指每秒查询次数,它是衡量一个系统处理能力的重要指标,通常用于评估 web 服务器、数据库或其他服务在单位时间内能够处理的请求数量。
在不同的上下文中,QPS 可能具体指代以下内容:
- Web 服务器:在处理 HTTP 请求时,QPS 表示服务器每秒能够响应的 HTTP 请求数量。
- 数据库:在处理数据库查询时,QPS 表示数据库每秒能够执行的查询数量。
- API 服务:在处理 API 请求时,QPS 表示 API 服务每秒能够处理的 API 请求数量。
高 QPS 表示系统有更强的并发处理能力,能够在单位时间内处理更多的请求,测试 QPS 可以了解系统在高负载下的性能。
可以使用 ab
(Apache Benchmark),wrk
,JMeter
等工具来进行压力测试,例如:
# -n : 总请求数
# -c : 并发用户数
ab -n 1000 -c 10 http://aaa.com/api
2. 内存
- 可以使用
top
,htop
,ps
等工具监控进程的内存使用情况 - 记录基线:在无负载情况下记录内存使用情况
- 运行负载:进行其他负载测试时,持续监控内存使用情况
- 分析数据:对比负载前后的内存使用情况,计算内存需求
例如:
top -p <process_id>
ps -p <process_id> -o %mem,%cpu,cmd
3. 显存
- 监控工具:使用
nvidia-smi
监控 GPU 显存使用情况 - 记录基线:在无负载情况下记录显存使用情况
- 运行负载:在进行计算任务或模型推理时,持续监控显存使用情况
- 分析数据:对比负载前后的显存使用情况,计算显存需求
例如:
nvidia-smi
watch -n 1 nvidia-smi