场景设计
性能场景一般是某个操作的不断重复,目的是通过重复/持续的操作将性能问题放大,如频繁进出房间200次。设计性能场景时需要从业务和用户角度出发,设计比较核心/用户渗透率比较高的场景。
指标定义
常见的APP性能指标有:内存、CPU、流量、耗电量、帧率、卡顿率、启动耗时等。不同性能测试场景会关注不同的性能指标,如后台使用场景,会比较关注耗电、流量、CPU、内存;滑动操作场景时,会比较关注卡顿率。我们需要为不同场景制定合理的性能指标。
规范执行
性能场景和指标制定完成后,需要进行测试执行工作。若执行过程中未注意规范,会导致测试数据不准确,从而失去参考价值,最终重复测试,浪费时间。
规范包括有:
1、场景开始执行前需要等待多少s
2、执行后需要等待多少s
3、每次测试需不需要冷启或是必须重新安装
4、安装好需要等待多久才可以开始测试
5、测试账号、测试数据、设备、网络需不需要固定
数据收集
收集性能数据的工具有perfdog、GT、solox等桌面化工具。如果要实现自动化性能测试安卓可以用adb,iOS可以用tidevice采集数据
数据分析
1、走势图,从走势图上我们大致可以看出该场景在当前版本的性能表现:
a)和之前版本的走势图进行对比,性能指标的波动情况
b)性能指标峰值、场景的均值以及涨幅的变化
2、场景的起始值与之前版本的变化
3、场景结束后的值与之前版本的变化
测试报告
性能测试报告的的目的是给出当前版本的性能表现情况,需要包括测试结论、问题情况、测试场景和性能指标数据、性能走势图等