引言
如何使用iTest工具进行App性能测试。
在如今这个高度竞争的移动应用市场中,用户对于应用程序的体验需求越来越高,而良好的性能表现则是实现这一目标的关键。
因此,App性能测试已经成为了开发人员必备的技能之一。然而,很多人并不知道该选择哪种测试工具,以及如何进行有效的测试。
这篇引流文章将为你介绍iTest工具的基本功能、使用方法和测试技巧,帮助你更加轻松地进行App性能测试,从而提高应用程序的质量和性能。
读完这篇文章,你也可以成为一名顶尖的应用程序测试专家!
功能简介
1、监控Andorid系统(支持手机,平板,电视,车机等智能终端设备)以及应用app的cpu、内存、流量、电池、帧率、页面耗时等数据;
2、悬浮框实时显示被测应用或者整机的状态指标;
3、数据走势图展示统计结果;
4、数据自动保存至文本,可快速导入Excel;
5、支持多进程应用的性能监控,例如灵犀语音助手;支持单进程性能监控;支持自定义进程性能监控
6、支持性能监控告警;
7、支持手工测试和自动化测试,自动化测试时,可发送adb shell命令遥控iTest。
8、获取android底层的linux进程占用的cpu和内存。
9、支持查看设备基本信息、设备的动态信息
10、支持cpu模拟、内存模拟、弱网模拟等极限环境模拟
11、支持logcat日志本地获取
12、支持应用安装包离线分析
13、支持monkey
基本功能使用说明
1、手工测试方式
1) 授权
自android6.0以后,谷歌对权限做了一些管控,应用在需要用户授权的情况下,功能才能正常的运行;因此为了确保iTest能够正常的运行,请按照iTest提示对iTest进行授权:
图1 存储、电话权限
图2 悬浮窗权限
图3 Assist服务启动
图4 辅助功能权限
图5 开启GPU
2)用户注册登录功能
打开iTest应用后,页面跳转至登陆页面,请填写用户名密码进行登录。账号可以直接登录iTest服务端。
图6 登录页面
如果没有登录账号,请点击注册按钮来进行用户注册,其中用户名、密码、邮箱是必选的,qq和微信可二者选一进行填写,注册完成后请登录邮箱激活账号。
图7 注册页面
3)选择被监控的应用
进入首页,先点击“添加”按钮,从跳入的监控应用界面中找到并点击被测应用,或在搜索框中输入应用的名称,或者只输入应用名称中的个别文字,即可筛选。
图8 首页
图9 监控应用页面
4)选择监控指标
在首页中,指标默认已选择cpu、内存、网络三项,点击分享解锁后,可解锁更多指标以及小工具,请根据自己的场景测试需要,选择需要监控的指标
图10 分享前指标
图11 分享后指标
Cpu:
如果被测对象为整机,则数据表示为整机的cpu占用百分比;
如果被测对象为应用,包含应用的CPU占用百分比与全局CPU占用百分比,对于单进程应用,该数据表示该应用的CPU占用情况;
对于多进程应用,根据您设置的进程筛选规则,如果为根据包名筛选进程,该数据表示应用主进程的CPU占用情况,如果为根据uid筛选进程,该数据表示应用所有的进程cpu占用情况,如果为根据配置文件筛选进程,该数据表示配置的进程cpu占用情况,当发生进程切换时,iTest能够自动切换到新的进程数据。
内存:
如果被测对象为整机,则数据表示为整机的内存占用情况和内存剩余情况;
如果被测对象为应用,包含应用的内存占用与全局内存剩余情况,对于单进程应用,该数据表示该应用的内存占用情况;
对于多进程应用,根据您设置的进程筛选规则,如果为根据包名筛选进程,该数据表示应用主进程的内存占用情况,如果为根据uid筛选进程,该数据表示应用所有的进程内存占用情况,如果为根据配置文件筛选进程,该数据表示配置的进程内存占用情况,当发生进程切换时,同cpu一样,iTest能够自动切换到新的进程数据。
应用内存指标包括两部分,进程的PSS(Proportional Set Size,即实际使用内存)内存、Private Dirty(私有内存)内存。
网络:包含应用上下行速率与累计流量以及全局上下行速率与累计流量。属于应用维度数据,根据监控对象决定。点击右侧清零按钮可以清空累计数据。
电池:包含设备瞬时电流、电流均值以及电池的温度。属于全局维度数据。点击右侧清零按钮可以清空电流累计数据。
Cpu温度:该数据表示cpu的温度,属于全局维度数据,部分设备是以电池温度为准。
帧率:包含应用实际帧率,延迟帧数、1秒内单帧最长延迟时间与延迟帧数占所有帧数的百分比。属于应用维度数据,即根据当前窗口所在activity获取。目前iTest是根据设备gfxinfo信息计算1秒内超时帧时间,从而反推出实际帧率,所以在接近静止的情况下, 部分帧率可能显示有误。推荐在滑动或页面切换等动态场景下进行帧率测试。
响应耗时:包含应用点击的响应耗时与刷新耗时数据。属于应用维度数据,基于当前页面所在activity。用户点击控件(记录时间a)界面发生变化(记录时间b)页面停止变化(记录时间c),其中b-a为响应耗时,c-a为刷新耗时。
5) 进程筛选设置
进程筛选,在性能监控中,你或许只关注应用的主进程性能,或许你关注应用的所有进程性能,也或许你只关注应用所有进程中的几个进程的性能,那么如何才能做到这些场景下的性能监控呢?因此我们提供了以下几种进程筛选方式。
根据包名筛选
通过包名获取到被监控应用的主进程,此时监控到的性能数据为应用主进程的性能数据
根据uid筛选
通过包名获取到主进程后得到了主进程的uid,通过uid筛选出应用的子进程信息,通过此种方式,可以监控到应用的所有进程性能数据
根据配置文件筛选
配置文件ThreadFilter.txt内容格式如图所示,FilterHead代表某App监控的开始部分,其中的内容每行代表一个进程,FilterTail代表该App监控的设置结束部分,当然对于多App和单app多进程监控需求同样适用。配置好ThreadFilter.txt文件后,需要将该文件放置到手机/sdcard/AndroidPropertyTool4/目录下即可,详细见ThreadFilter详解
6)场景设置
在启动性能监控前,在图7中标记处输入场景标记。
图12 场景标记
7)其他设置
点击首页左上角的菜单图标,可进入菜单,见图8。点击“设置”即可选择您要设置的参数。见图9。
图13 菜单图
14 设置界面
在图14中参数简介:
监控间隔:默认每隔1000毫秒记录一组数据;
显示悬浮框:悬浮框位于屏幕左上方,实时显示记录的数据,6.0以后系统需要将悬浮窗权限打开,进入iTest后,根据应用提示即可;
横屏显示:默认关闭,竖屏显示,
设置告警规则:触发告警条件,执行告警策略。
设置监控进程规则:默认根据uid进行筛选
8)启动监控/停止监控
点击“启动监控”按钮,测试开始,按钮自动变成“停止监控”;
点击“停止监控”按钮,测试停止,按钮自动变成“开始监控”。
9)查看数据走势图
在主页上,点击左上角的菜单按钮,或向右滑动屏幕进入菜单或者直接点击主页“趋势图”按钮,进入数据管理页面;
点击列表中的
,查看数据趋势图;
点击数据走势图页面上方的下拉框选项
,可以查看相应的数据走势图;
图15 CPU图
图16 内存图
10)数据管理
数据存在android的外置存储空间中(一般是指/sdcard目录)
例如:
/sdcard/AndroidPropertyTool4/handTest/cup_com_baidu_BaiduMap.txt //被测应用的cpu
/sdcard/AndroidPropertyTool/handTest/cpuSystem.txt //系统cpu
/sdcard/AndroidPropertyTool/ handTest/pss_com_baidu_BaiduMap.txt //被测应用的private dirty内存
/sdcard/AndroidPropertyTool/ handTest/privateDirty_com_baidu_BaiduMap.txt /被测应用的pss
/sdcard/AndroidPropertyTool/handTest/pssSystemLeft.txt //系统剩余pss
/sdcard/AndroidPropertyTool/handTest/upflow_com_baidu_BaiduMap.txt //上行速率
/sdcard/AndroidPropertyTool/handTest/downflow_com_baidu_BaiduMap.txt //下行速率
/sdcard/AndroidPropertyTool/handTest/upflowSum_com_baidu_BaiduMap.txt //上线累计
/sdcard/AndroidPropertyTool/handTest/downflowSum_com_baidu_BaiduMap.txt //下行累计
/sdcard/AndroidPropertyTool/handTest/batteryAvg.txt //平均电流
/sdcard/AndroidPropertyTool/handTest/batteryTemperature.txt //电池温度
/sdcard/AndroidPropertyTool/handTest/batteryInstant.txt //瞬时电流
/sdcard/AndroidPropertyTool/handTest/fps.txt
/sdcard/AndroidPropertyTool/handTest/fpsJunkCount.txt
/sdcard/AndroidPropertyTool/handTest/fpsMaxJunk.txt
/sdcard/AndroidPropertyTool/handTest/fpsJunkPercent.txt
/sdcard/AndroidPropertyTool/handTest/cpuTemperature.txt
/sdcard/AndroidPropertyTool/handTest/response.txt
/sdcard/AndroidPropertyTool/handTest/refresh.txt
/sdcard/AndroidPropertyTool/ handTest /uplaodSetting.json//上传功能的标记文件,可忽略
/sdcard/AndroidPropertyTool/handTest/upload.tmp //上传标记文件,可忽略
其中com_baidu_BaiduMap(百度地图)为被测试应用的包名。
备注:
系统会将旧数据文件保存在带时间戳的目录中,例如:
/sdcard/AndroidPropertyTool4 /handTest_2020-01-01-12-12-12-357
在“数据管理”界面,可上传、查看、删除所有数据:
图17 数据管理界面
2、自动测试方式
本工具支持以adb shell命令的形式启动和运行。需要注意的是,office系列软件可能会更改命令中的字符,导致命令不可用!请手工输入命令,或从附带的command文本中复制;另外iTest启动后默认在未登陆的情况下进入登陆页面,因此确保已经登陆,并且将相关权限打开,具体见2.1.1授权介绍
1)启动首页
adb shell am start -a android.intent.action.MAIN -c android.intent.category.LAUNCHER –n iflytek.testTech.propertytool/.activity.BootActivity
2)开启监控
依次执行如下两条命令,注意替换红字部分:
adb shell am broadcast -a changedir --es savedir handTest(默认即是handTest目录,如不做修改,可忽略执行)
adb shell am broadcast -a monitorStart --es monitor cpu,pss,net,battery,cpuTemp,fps,response --es pkg com.example.test --ei interval 1000
monitor:监控的指标,多指标情况下使用英文逗号分隔(cpu, pss,net,battery,cpuTemp,fps,response)
pkg:包名, 可用英文的逗号分隔多个包名。
interval:间隔(毫秒)
3)结束监控
adb shell am broadcast -a monitorFinish
4)打开或者关闭悬浮窗,在开启监控前执行
adb shell am broadcast -a enableFloatWindow // 开启
adb shell am broadcast -a disableFloatWindow // 关闭
5)其他命令见command
其它功能
1、设备基本信息
从菜单中,点击“设备基本信息”,即可进入设备基本信息页面。点击导出按钮,设备基本信息可导出为txt文本。
图18 展开的菜单图
19 设备基本信息页面
2、设备动态信息
从菜单中,点击“设备动态信息”,即可进入设备动态信息页面。点击导出按钮,设备动态信息可导出为txt文本。
注意,由于数据是动态获取并显示的,在部分数据的获取上比较耗时,请等待若干秒。
图20 设备动态信息页面
3、意见反馈
如果发现工具的bug,或有任何改进意见,请从菜单中点击“意见反馈”,进入意见反馈页面来告知我们。也可以根据“关于”页面中提供的联系方式联系我们。谢谢!
图21 意见反馈页面
图22 关于页面
4、工具箱
工具箱中包含了一些小工具,通过在首页完成分享后即可解锁更多的小工具
图23 工具箱
5、发现
6、版本新增了发现功能,在这里你可以学习别人的玩法,也可以将自己的玩法发布供别人学习。
图24 发现图
图25 添加发现
iTest数据上传功能
iTest服务端地址http://itest.iflytek.com/,iTest客户端默认是在连接有效的wifi且已经登录的情况下在性能监控结束的时候自动上传至服务端,如果没有登录,将会跳转至登录页面,完成登录后,在数据管理页面手动上传测试数据
iTest使用注意事项
1、常见问题
电池电流,因MTK平台不区分充放电,都为负数;高通平台小于0处于放电状态,大于0为充电状态
如果遇到监控cpu与top命令获取的不一样或者监控内存与dumpsys meminfo命令获取的不一样,在小范围内的误差是正常的不影响性能结果,若误差较大的情况下,请使用其他监控工具做对比
由于流量监控功能不完善,导致耗电量统计时,无法统计UDP流量对应的耗电量。
长时间运行后, iTest可能会被系统杀死。解决方案:将iTest.apk放置在/system/app目录下,并赋root权限。
iTest受系统休眠影响,可能会暂停记录数据,请测试之前正确设置手机参数
最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!