鸿蒙5.0开发【应用基础质量测试】DevEco Testing

DevEco Testing为HarmonyOS NEXT应用开发者提供应用基础质量测试服务。提供多维度的应用检测方法，快速评估应用基础质量。结合HarmonyOS NEXT应用专项测试质量建议，提供测试报告及优化建议，助您高效提升应用质量。（注：当前工具暂不支持对应用安全和隐私相关进行检测）

注：当前被测设备系统版本需为HarmonyOS NEXT Developer Beta 1(3.0.0.25)及以上。

测试服务	简介
功能体验基础质量测试	对应用与OS兼容、应用与设备兼容、应用升级兼容、功能体验相关等进行评估
稳定性基础质量测试	检测应用长时间运行故障率（崩溃、冻屏等）、长时间运行内存资源异常情况
性能基础质量测试	对应用启动、应用内滑动及点击、应用资源占用等场景进行性能评估
UX基础质量测试	验证应用在基础体验、系统特性适配、控件布局等方面是否合理
功耗基础质量测试	检测应用在后台运行时是否出现系统资源占用的异常情况

性能基础质量测试

性能基础质量测试： 性能基础质量测试服务通过模拟用户的操作行为，对应用进行长时间、高操作频率的页面遍历，收集遍历过程中的性能数据，提供全面、专业、可靠的测试报告，辅助开发者评估和优化应用的性能质量。

创建任务

进入DevEco Testing客户端，左侧菜单栏选择“应用基础质量测试”，选择“性能基础质量测试”，点击服务卡片，即进入任务创建界面。按需配置任务参数，点击创建任务即开始测试。

在执行测试前，需检查以下状态，以保证任务的有效性：

1、手动对应用进行必要的预置操作，包括权限授予、用户协议确认、账号登录等等，以保障自动化遍历可顺利进行

2、确保手机性能状态正常，包括网络连接通畅、非高温、非低电量（推荐>80%），以及其他可能对性能表现产生影响的变量

3、不要设置各类锁屏密码，确保自动化能完成上滑解锁

4、应用图标在桌面可见，不要藏起来（自动化会翻页查找，但不会打开文件夹）进入服务卡片后，选择要测试的应用，点击创建任务即可开始，任务过程无需人工干预

测试执行

任务创建后即进入测试执行页面，测试过程中，在测试页面可以看到测试进度、用例列表、及执行日志。

测试过程中，在测试页面可以看到测试当前进度、用例列表、执行日志。测试执行时，设备会进行应用页面的跳转，请勿触碰正在执行测试过程中的设备。

应用支持情况说明：

• 冷启动测试：支持所有应用；
• 应用内操作测试：遍历目前主要支持arkui原生控件（含ReactNative框架开发应用），WebView页面遍历设备需刷5.0.0.22以上版本
• 不支持Flutter应用，以及其他三方自研的自定义控件识别。

查看报告

测试完成后，自动生成测试报告。性能基础质量测试报告如下：

报告包含任务信息、总览、测试结论、指标项、测试步骤详情。指标项卡片包含三类状态：绿色为达标，红色为不达标，灰色为该指标项未检测。

*达标判定：85分位值超过推荐值小于10%以内算达标。

可通过点击指标卡片的详细数据中的数字跳转到步骤详情，即可查看本次遍历过程中该场景的详细数据及截图。点击“查看”可获取到本次测试过程中的日志、trace等辅助分析文件，帮助开发者进一步分析优化异常场景性能表现。

定位信息查看

Ⅰ. perfdata文件查看

点击定位信息列的查看，会跳转到对应的perfdata文件。可使用DevEco Studio 5.0.3.300及以上版本中的场景化调优工具DevEco Profiler打开及查看该文件。

此外perfdata可使用压缩软件查看并打开，可解压出trace文件，trace文件可使用smartperf网站查看

Ⅱ. hilog查看

点击导出报告，会打开报告导出目录（task/taskId/export），该目录往上返一层进入父目录，则到了任务数据根目录（task/taskId）

*更多性能测试项详细hilog路径，请前往DevEco Testing客户端-应用基础质量测试-性能基础质量测试-任务创建页-测试指南中查询。

检测规则

*更多检测规则详情，请前往DevEco Testing客户端-应用基础质量测试-性能基础质量测试-任务创建页-测试指南中查询。

常见问题

Q1：测试报告中，为什么会出现未执行检测？

A1：如遇到以下几种场景，将会出现未执行检测项。

• 在应用测试过程中，不满足测试用例执行条件，将不执行相关测试场景。如应用页面仅一屏，不支持滑动，则本次遍历中，滑动相关指标将无数据。
• 由于通过查找桌面应用图标名查找应用，被测应用需放置在桌面上，否则将出现批量未检测项。
• 当前在webview的页面上遍历存在已知问题，使用webview类应用进行测试，或将出现测试数据不准确及批量出现未执行检测项。
• 偶现应用解析异常，导致批量出现未检测项，该场景请重新执行任务即可恢复。

Q2：执行过程中，设备断连重连后，任务能否继续执行？

A2：如果发生设备断连情况测试会终止，并生成测试报告，由于测试执行不充分，会导致生成的报告数据不完整，请保证设备在测试的过程中正常连接。

功能体验基础质量测试

功能体验基础质量测试： 根据应用功能体验建议，检测应用在当前系统、设备及升级场景下运行是否存在兼容性问题。

创建任务

进入DevEco Testing客户端，在左侧菜单栏选择“功能体验基础质量测试”，点击“功能体验基础质量测试”服务卡片，即进入任务创建界面。按需配置任务参数，点击创建任务即开始测试。

测试执行

任务创建后即进入测试执行页面，测试过程中，在测试页面可以看到测试进度、检测规则、实时投屏及执行日志。

查看报告

测试完成后，自动生成测试报告。任务结束后，自动生成测试报告。功能体验基础质量测试报告如下：

报告包含任务信息、执行结果、问题统计、检测规则。支持查看当前应用信息、任务执行时长，及详细的环境参数（配置信息及环境信息），支持导出 html 的报告文件。测试概览中，可查看执行结果、问题统计及检测规则。

对于检测不通过及检测异常的规则项，点击查看详情即可异常问题详情，包含检测项概览、测试截图、问题列表。对于异常问题，可根据测试截图、问题描述及发生时间，结合 hilog 日志，进一步定位分析。

检测规则

更多检测规则详情，请前往DevEco Testing客户端-应用基础质量测试-功能体验基础质量测试-任务创建页-测试指南中查询。

常见问题

Q1：测试报告中，为什么会出现测试项检测异常？

A1：可能是系统版本配套原因，请选手机系统为HarmonyOS NEXT Developer Beta 1(3.0.0.25)及以上版本进行测试。其他类型设备及系统测试报告中或出现检测异常。

设备断连会影响测试结果，可能出现检测异常及待检测项，请确保测试过程中设备正常连接。

Q2：测试报告中，为什么会批量出现待检测项？

A2：偶现由于测试任务内部异常导致任务终止，请查看【测试报告-执行日志】，若应用信息为空，请重新执行测试任务即可恢复。

稳定性基础质量测试

稳定性基础质量测试： 根据应用稳定性建议，检测应用运行过程中是否存在应用崩溃、资源过载、内存泄漏等异常情况。

创建任务

进入DevEco Testing客户端，在左侧菜单栏选择“稳定性基础质量测试”，点击“稳定性基础质量测试”服务卡片，即进入任务创建界面。按需配置任务参数，点击创建任务即开始测试。

测试执行

创建任务后，将会跳转到执行页，进入测试环境初始化阶段。测试过程中，在测试页面可以看到测试进度、实时投屏、检测规则及执行日志。

查看报告

测试完成后，自动生成测试报告。稳定性基础质量测试报告如下：

报告包含任务信息、执行结果、问题统计、检测规则。支持查看当前应用信息、任务执行时长，及详细的环境参数（配置信息及环境信息），支持导出 html 的报告文件。测试概览中，可查看执行结果、问题统计及检测规则。

对于检测不通过及检测异常的规则项，点击查看详情即可查看异常问题详情，包含检测项概览、测试截图、问题列表。对于异常问题，可根据测试截图、问题描述及发生时间，结合 hilog 日志，进一步定位分析。

检测规则

更多检测规则详情，请前往DevEco Testing客户端-应用基础质量测试-稳定性基础质量测试-任务创建页-测试指南中查询。

常见问题

Q1：测试报告中，为什么会出现测试项检测异常？

A1：可能是系统版本配套原因，请选手机系统为HarmonyOS NEXT Developer Beta 1(3.0.0.25)及以上版本进行测试。其他类型设备及系统测试报告中或出现检测异常。

设备断连会影响测试结果，可能出现检测异常及待检测项，请确保测试过程中设备正常连接。

Q2：测试报告中，为什么会批量出现待检测项？

A2：偶现由于测试任务内部异常导致任务终止，请查看【测试报告-执行日志】，若应用信息为空，请重新执行测试任务即可恢复。

UX基础质量测试

UX基础质量测试： 根据应用UX建议，验证应用在基础体验、系统特性适配、控件布局等方面是否合理。

创建任务

进入DevEco Testing客户端，在左侧菜单栏选择“稳定性基础质量测试”，点击“UX基础质量测试”服务卡片，即进入任务创建界面。按需配置任务参数，点击创建任务即开始测试。

如选择应用遍历模型进行UX测试时，遍历过程将参照已有遍历模型的页面节点进行遍历，可有效缩短UX遍历时间。遍历模型及节点可参考查看应用探索测试对应任务遍历地图：

测试执行

创建任务后，将会跳转到执行页，进入测试环境初始化阶段。测试过程中，将针对模型中的已有界面进行UX检测。

在测试页面可以看到测试进度、实时投屏、检测结果统计、检测规则及执行日志，可实时查看不通过页面问题详情：

查看报告

测试完成后，自动生成测试报告。UX基础质量测试报告如下：

报告包含任务信息、执行结果、检测规则。支持查看当前应用信息、任务执行时长，及详细的环境参数（配置信息及环境信息），支持导出 html 的报告文件。测试概览中，可查看执行结果、结果统计及检测规则。

对于检测不通过及检测异常的规则项，点击查看详情即可查看异常问题详情，包含检测项概览、测试截图、问题列表。对于异常问题，可根据测试截图、问题描述，针对性优化异常问题。

检测规则

更多检测规则详情，请前往DevEco Testing客户端-应用基础质量测试-UX基础质量测试-任务创建页-测试指南中查询。

常见问题

Q1：测试报告中，为什么会出现检测异常及不涉及检测项？

A1：可能是系统版本配套原因，请选手机系统为HarmonyOS NEXT Developer Beta 1(3.0.0.25)及以上版本进行测试。其他类型设备及系统测试报告中或出现检测异常。

设备断连会影响测试结果，可能出现检测异常及待检测项，请确保测试过程中设备正常连接。

Q2：测试报告中，所有规则检测均异常，异常原因提示“检测过程发生未知错误”，该如何处理？

A2：请重启手机后，使用应用的debug签名版本重新测试。

Q3：实际情况与测试结果有偏差，该如何处理？

A3：部分检测项可能存在少量视觉检测误差，测试结果请忽略，后续将持续降低检测误差。如误差较大，请通过设置-问题反馈，提交问题说明与截图，便于DevEco Testing后续进一步优化。

Q4：测试报告中，为什么会批量出现待检测项？

A4：偶现由于测试任务内部异常导致任务终止，请查看【测试报告-执行日志】，若应用信息为空，请重新执行测试任务即可恢复。

功耗基础质量测试

功耗基础质量测试： 根据应用功耗建议，检测应用在后台运行时是否出现系统资源占用的异常情况。

创建任务

进入DevEco Testing客户端，在左侧菜单栏选择“功耗基础质量测试”，点击“功耗基础质量测试”服务卡片，即进入任务创建界面。按需配置任务参数，点击创建任务即开始测试。

测试执行

创建任务后，将会跳转到执行页，进入测试环境初始化阶段。测试过程中，在测试页面可以看到测试进度、实时投屏、检测规则及执行日志。

查看报告

测试完成后，自动生成测试报告。功耗基础质量测试报告如下：

报告包含任务信息、执行结果、问题统计、检测规则。支持查看当前应用信息、任务执行时长，及详细的环境参数（配置信息及环境信息），支持导出 html 的报告文件。测试概览中，可查看执行结果、问题统计及检测规则。

对于检测不通过及检测异常的规则项，点击查看详情即可查看异常问题详情，包含检测项概览、测试截图、问题列表。对于异常问题，可根据测试截图、问题描述及发生时间，结合 hilog 日志，进一步定位分析。