接上一部分,该部分主要记录APP性能、交叉、兼容、升级更新、客户端数据库等方面的测试点总结,可能有些记录不是很全面,以后在实践过程中慢慢补全吧
2.5性能测试
评估App的时间和空间特性 :
1)极限测试:在各种边界压力情况下,如电池、存储、网速等,验证App是否能正确响应。
–内存满时安装App
–运行App时手机断电
–运行App时断掉网络
2)响应能力测试:测试App中的各类操作是否满足用户响应时间要求 。
–App安装、卸载的响应时间
–App各类功能性操作的影响时间
3)压力测试:反复/长期操作下、系统资源是否占用异常。
–App反复进行安装卸载,查看系统资源是否正常
–其他功能反复进行操作,查看系统资源是否正常
4)性能评估:评估典型用户应用场景下,系统资源的使用情况。
5)Benchmark测试(基线测试):与竞争产品的Benchmarking, 产品演变对比测试等。
2.6交叉事件测试
针对智能终端应用的服务等级划分方式及实时特性所提出的测试方法。交叉测试又叫事件或冲突测试,是指一个功能正在执行过程中,同时另外一个事件或操作对该过程进行干扰的测试。如;App在前/后台运行状态时与来电、文件下载、音乐收听等关键运用的交互情况测试等。交叉事件测试非常重要,能发现很多应用中潜在的性能问题。
1) 多个App同时运行是否影响正常功能
2) App运行时前/后台切换是否影响正常功能
3) App运行时拨打/接听电话
4) App运行时发送/接收信息
5) App运行时发送/收取邮件
6) App运行时切换网络(2G、3G、wifi)
7) App运行时浏览网络
8) App运行时使用蓝牙传送/接收数据
9) App运行时使用相机、计算器等手机自带设备
2.7兼容测试
主要测试内部和外部兼容性
1)与本地及主流App是否兼容
2)基于开发环境和生产环境的不同,检验在各种网络连接下(WiFi、GSM、GPRS、EDGE、WCDMA、CDMA1x、CDMA2000、HSPDA等),App的数据和运用是否正确
3)与各种设备是否兼容,若有跨系统支持则需要检验是否在各系统下,各种行为是否一致
–不同操作系统的兼容性,是否适配
–不同手机屏幕分辨率的兼容性
–不同手机品牌的兼容性
2.8回归测试
1)Bug修复后且在新版本发布后需要进行回归测试。
2)Bug修复后的回归测试在交付前、要进行全量用例的回归测试。
2.9升级、更新测试
新版版发布后,配合不同网络环境的自劢更新提示及下载、安装、更新、启劢、运行的验证测试。
1)测试升级后的功能是否与需求说明一样
2)测试与升级模块相关的模块的功能是否与需求一致
3)升级安装意外情况的测试(如死机、断电、重启)
4)升级界面的UI测试
5)不同操作系统间的升级测试
2.10用户体验测试
以主观的普通消费者的角度去感知产品或服务的舒适、有用、易用、友好亲切程度。 通过不同个体、独立空间和非经验的统计复用方式去有效评价产品的体验特性提出修改意见提升产品的潜在客户满意度。
1)是否有空数据界面设计,引导用户去执行操作。
2)是否滥用用户引导。
3)是否有不可点击的效果,如:你的按钮此时处于不可用状态,那么一定要灰掉,或者拿掉按钮,否则会给用户误导
4)菜单层次是否太深
5)交互流程分支是否太多
6)相关的选项是否离得很远
7)一次是否载入太多的数据
8)界面中按钮可点击范围是否适中
9)标签页是否跟内容没有从属关系,当切换标签的时候,内容跟着切换
10)操作应该有主次从属关系
11)是否定义Back的逻辑。涉及软硬件交互时,Back键应具体定义
12)是否有横屏模式的设计,应用一般需要支持横屏模式,即自适应设计
2.11 硬件环境测试
2.11.1手势操作测试
1)手机开锁屏对运行中的App的影响
2)切换网络对运行中的App的影响
3)运行中的App前后台切换的影响
4)多个运行中的App的切换
5)App运行时关机
6)App运行时重启系统
7)App运行时充电
8)App运行时kill掉进程再打开
2.11.2网络环境
手机的网络目前主要分为2G、3G、wifi。目前2G的网络相对于比较慢,测试时尤其要注意此块的测试。
-
无网络时,执行需要网络的操作,给予友好提示,确保程序不出现crash。
-
内网测试时,要注意选择到外网操作时的异常情况处理。
-
在网络信号不好时,检查功能状态是否正常,确保不因提交数据失败而造成crash。
-
在网络信号不好时,检查数据是否会一直处于提交中的状态,有无超时限制。如遇数据交换失败时要给予提示。
-
在网络信号不好时,执行操作后,在回调没有完成的情况下,退出本页面或者执行其他操作的情况,有无异常情况。此问题也会经常出现程序crash。
2.11.3服务器宕机或出现404、502等情况下的测试
后台服务牵涉到DNS、空间服务商的情况下会影响其稳定性,如:当出现域名解析故障时,你对后台API的请求很可能就会出现404错误,抛出异常。这时需要对异常进行正确的处理,否则可能会导致程序不能正常工作。
2.12接口测试
服务端一般会提供JSON格式的数据给客户端,所以我们在服务端需要进行接口测试,确保服务端提供的接口并转换的JSON内容正确,对分支、异常流有相应的返回值。此块测试可以采用itest框架进行测试。最方便的是采用httpclient进行接口测试。
进行服务端测试时,需要开发提供一份接口文档。
2.13客户端数据库测试
1)一般的增、删、改、查测试。
2) 当表不存在时是否能自动创建,当数据库表被删除后能否再自建,数据是否还能自动从服务端中获取回来并保存。
3) 在业务需要从服务端取回数据保存到客户端的时候,客户端能否将数据保存到本地。
4) 当业务需要从客户端取数据时,检查客户端数据存在时,app数据是否能自动从客户端数据中取出,还是仍然会从服务器端获取?检查客户端数据不存在时,app数据能否自动从服务器端获取到并保存到客户端
5) 当业务对数据进行了修改、删除后,客户端和服务端是否会有相应的更新。