google 兼容测试:
- CTS
run cts run retry --retry sessionid --retry-type FAILED 不需要刷版本,就是gms版本 ,需要使用media文件 - GTS
使用user版本 执行测试 run gts 复测 run retry --retry sessionid - VTS
需要首先刷新user版本成功后 ,在刷新google 的GSI image版本,保存一些配置的存在,否则会出现比如wifi连接不上的情况 执行命令 run vts VTS的全称是 Vendor Test Suite(供应商测试套件)
替换谷歌system.img,需要使用media文件
手机环境
1、使用release软件+google镜像(System.img)
2.解锁并烧googleimage
3、不需要媒体文件
4、不需要T卡
5、需要连接wifirun vts --retry <session ID>
Retries failed and not executed tests with previous configuration and command options. Used only for VTS.
- STS
需要使用userdebug版本 执行eng版本命令 这个版本需要他们给 执行user版本 run sts-userbuild 执行eng版本 run sts-engbuild - GSI 刷新版本
-
需要google image 版本,在vts中执行需要首先刷新user版本成功后 ,在刷新google 的GSI image版本, 执行命令 run cts-on-gsi 复测 run cts-on-gsi-retry --retry session
-
-
> run cts-on-gsi-retry --retry <session ID>
Retries for CTS-on-GSI always use
cts-on-gsi-retry
as the plan name. -
cts-on-gsi
-
run cts-on-gsi run cts-on-gsi -m CtsMediaStressTestCases -a arm64-v8a
执行单个模块中的一个
- https://codelabs.developers.google.com/codelabs/android-vts/#1 从这个网站上获取到的信息
- user版本 userdebug版本 eng 版本区别 :
eng:debug 版本 有bug的版本
user: release 版本 一般是正式的版本
userDebug版本:部分debug版本 执行测试的时间 一般是 上面sts 中执行的eng版本
- CTS VERF
编号 | 模块 | 标题 | 测试内容 | 说明 | 测试结果 | 结果备注 |
1 | AUDIO | Audio Frequency line Test | 回环测试 | 插入有线耳机 Loopback Plug | PASS | |
2 | Audio Frequency microphone Test | 麦克风测试 | USB麦克风(需采购),否则用例Fail | PASS | ||
3 | Audio Frequency speaker Test | Speaker测试(喇叭) | USB麦克风、扬声器 | FAIL | 需底商复测,解决 | |
4 | Audio Frequency Unprocessed Test | USB麦克风 | FAIL | 需底商复测,解决 | ||
5 | Audio Input Devices Notification Test | 耳机插拔提示测试 | 3. 单击 Clear Clear Messages Messages 按钮 4. 将有线耳机插入,验证在按钮下方是否出现适当的提示信息 5. 将有线耳机拔出,验证在按钮下方是否现适当的提示信息 | PASS | ||
6 | Audio Input Routing Notification Test | micro线路测试:过程中拔掉耳机 | 由耳机的microphone切换到手机的microphone测试 1、插入耳机,点击record 2、拔出耳机,(界面中显示Notifications信息出现变化) 3、点击stop | PASS | ||
7 | Audio loopback Latency Test | 音频环回时延测试 | 插入loopback plug 调节适当的音量,需要测试多次直到confidence>=0.6 | BLOCK | 缺少设备:loopback plug,需音频专家制作,无法购买 | |
8 | Audio Output Devices Notification Test | 耳机插拔提示测试 | 耳机插拔提示测试 | PASS | ||
9 | Audio Output Routing Notification Test | Speaker线路测试:插入耳机 | 不插耳机开始测试,再插入耳机(声音由spker切换到耳机发出) | PASS | ||
10 | Hifi UItrasoud Microphone Test | microphone Hifi超声测试 (18500HZ-20000HZ) | 1、需两部手机,不用插耳机 2、辅助机:设置音量70% 3、点击测试机的Record按钮,在1秒钟内点击辅助机的Play按钮 测试结束后,测试结果会出现在测试机的手机上 | FAIL | 需底商复测,解决 | |
11 | Hifi UItrasoud Speaker Test | Speaker Hifi超声测试 (18500HZ-20000HZ) | 1、需两部手机,不用插耳机 2、测试机:设置音量70% 3、点击辅助机的Record按钮,在1秒钟内点击测试机的Play按钮 测试结束后,测试结果会出现在辅助机的手机上 | FAIL | 需底商复测,解决 | |
12 | Camera | Camera FOV Calibration | 相机校准测试 | 不同分辨率遍历拍照,完成后PASS自动亮起 | FAIL | 对环境因素要求较高,失败概率很大 |
13 | Camera Flashlight | 前后闪光灯,开关测试 | 点击Start,点击Next 点击ON、点击OFF | FAIL | 前置闪光灯不亮 | |
14 | Camera Formats | 前后摄像头,遍历各种分辨率和格式 | 切换分辨率和格式,检查相机预览界面是否花屏 遍历完成后,PASS按钮 亮起 | PASS | ||
15 | Camera ITS Test | 屏幕翻转测试 | 点击后,自动判断是否PASS | PASS | ||
16 | Camera Intents | 拍照、摄像(手动启动、第三方调用启动) | 1、点击START TEST, 2、点击HOME按钮,启动相机拍一张照 3、返回CTS-verifyer,此时PASS亮起,进入第二部分 4、第二部分与第一部分类似,只是启动相机后录一段视频,点击PASS进入第三部分 5、点击屏幕上的Start Test,手机自动启动相机,拍一张照片 6、点击屏幕上的确认符号√,PASS亮起后,点击进入第四部分 7、相机启动后录一段视频,PASS亮起后,点击完成整个测试 | PASS | ||
17 | Camera Orientation | 拍照测试(前后摄像头) | 按照屏幕后侧的提示点击“take Phone”拍一张照片,一共测试拍摄物体顺时针旋转 0°、 90 °、 180 °和 270 °四个方向。对比拍摄的照片是否与预览一 ° | PASS | ||
18 | Camera Video | 摄像测试(前后摄像头) | 点击“TEST”录制一段视频。对比回放的视频是否与录制的一致。 选择其他分辨率中LOW/HIGH/GCIF/480P/720P/1080P.重复以上步骤,若一致,则点击PASS | PASS | ||
19 | CAR | Car Dock Test | 进入驾驶模式开启APP时需要使用 Car Dock功能 | 测试步骤: 1、点击:“Enable CAR MODE” 2、点击Home键 期望结果:返回测试列表,用例直接PASS | PASS | |
20 | CLOCK Alarms and Timers Tests | ALARMS | Show Alarms Test | 进入闹钟列表UI | PASS | |
21 | Set Alarms Test | 进入设置闹钟UI | PASS | |||
22 | Start Alarm Test | 响闹测试:两次 点击"set Alarm"按钮(自动设置2分钟后闹钟) 1、等待两分钟,闹铃响起,点击DISMISS(忽略)按钮 2、等待两分钟,闹铃为震动(无铃声),点击DISMISS(忽略)按钮 | PASS | 7.0-r15 响铃并震动,只需要测试一次 | ||
23 | Full Alarm Test | 自定义闹钟测试: 时间:01:23、震动模式、铃声静音、每周一、周三重复响闹 | FAIL | 闹钟--不支持设置闹钟铃声为静音 预期:ringtone:silent | ||
24 | TIMERS | Set Timer Test | 倒计时UI | PASS | ||
25 | Srart Timer Test | 倒计时30秒,响闹 | PASS | |||
26 | Srart Timer With UI Test | 倒计时读秒UI界面,响闹 | FAIL | 倒计时界面中,没有30S倒计时动态显示(可以正常响闹) | ||
27 | DEVICE ADMINISTRATION | Device Admin Tapjacking Test | 设备管理员 劫持测试 | 1、点击“enable device admin”按钮 2、进入管理员权限授予界面,并有黑色弹窗提示 此时"Activate this devices administrator"选项-- 置灰,无法点击 3、点击 两次“back”按钮,返回测试界面 PASS | PASS | 不同工具版本,测试步骤有所不同,根据测试用例提示,进行操作 |
28 | Keyguard Disable Features Test (锁屏专项测试) | Disable Trusted agents(关闭信任代理) | 前提条件:设置--安全--开启激活CTS verifer权限 开始测试,点击“go”按钮检查security-->trust agents设置项:关闭状态 | PASS | ||
29 | Disable camera | 手机自动锁屏,点击Power键--右下角“相机”图标消失 (输入密码解锁,锁屏密码被自动设置为:testpassword) | PASS | |||
30 | Disable notifications | 关闭锁屏通知测试,解锁屏幕后通知栏出现一个测试通知 (锁屏密码被自动清除。根据测试用例提示进行操作:不同版本会要求手动设置锁屏为None) | PASS | |||
31 | Policy Serialization Test(密码边界测试) | Password Quality 期望值:Numeric | 测试步骤: 1、点击:“GENRATE POLICY” 2、点击:“APPLY POLICY” 3、以上步骤后自动锁屏,输入解锁密码进入测试界面查看测试结果 (个别版本弹出提示:重启手机。不需输入密码) | PASS | ||
32 | Minimum Password Length 期望值:9 | PASS | ||||
33 | maximum Failed Passwords for Wipe 期望值:33 | PASS | ||||
34 | Maximum Time to Lock 期望值:77351 | PASS | ||||
35 | Redacted Notifications Keyguard Disabled Features Test | Disable unredacted notifications | 重新进入“安全”,再次 激活CTS verifer(默认激活,取消后再次激活) 1、点击:PREPARE TEST 2、点击:Disable unredacted notifications 3、点击:GO(锁屏密码被自动设置为:testpassword,个别版本需手动设置,注意测试用例提示) 4、以上步骤后自动锁屏,查看锁屏界面存在锁屏提示:CTS verifer 内容已隐藏 (点击PASS后,锁屏密码被清除。根据测试用例提示进行操作:不同版本会要求手动设置锁屏为None) | PASS | ||
36 | Screen Lock Test | FORCE LOCK(模拟POWER锁屏测试)立即锁屏 | 自动锁屏后,点击Power键点亮屏幕,滑动解锁(或输入密码解锁) (解锁屏幕后,弹出提示:锁屏测试成功) | PASS | ||
37 | FESTURES | Hardware/Software Feature Summary | 自动检查Feature Summary | 左侧图标没有红色叹号即PASS | PASS | |
Compainion Device Test | 检测周围的蓝牙设备, | 找到你开放的蓝牙 | PASS | |||
38 | HARDWARE | GNSS Measurement Before Location Test | 卫星导航定位 | 前提条件:设置-->Location,定位模式设置为精准定位模式 点击NEST | FAIL | 卫星定位失败,PW9对比机通过 |
39 | GNSS Measurement Constellation Test | 同上 | FAIL | 卫星定位失败,PW9对比机通过 | ||
40 | GNSS Measurement Registration Test | 同上 | FAIL | 卫星定位失败,PW9对比机通过 | ||
41 | GNSS Measurement Values Test | 同上 | FAIL | 卫星定位失败,PW9对比机通过 | ||
42 | GNSS Navigation Message Test | 同上 | PASS | |||
43 | GPS Test | 数据网络定位(打开数据流量) | 进入测试项。自动开始测试,等待完成。PASS亮起 | FAIL | 定位超时 | |
44 | MTP Host Test | MTP测试 | 需要Android辅助机,通过OTG线将两部手机连接 点击辅助机通知栏的提示:设置为MTP模式 1、点击NEXT,弹出提示框:是否允许CTS Verifier访问USB设备?点击OK Grant permission 显示PASS 2、辅助机片 TestMtpDevice#readEvent 和 #sendObject 显示PASS 3、弹出提示:已连接MTP设备,点击提示可以浏览设备文件 | FAIL | 步骤3 未弹出提示:已连接MTP设备 | |
45 | USB Accessory Test | USB配件测试 | 前置条件:手机USB 充电模式 连接Ubuntu系统电脑 操作步骤: 1、cd /home/bitland/ctsgts42/android-cts-verifier(进入电脑目录) 2、sudo -s,输入电脑密码 (获取目录root权限) 或 chmod 777 cts-usb-assessory (赋予脚本可执行权限) 3、手机进入测试项,PC端运行:sudo ./cts-usb-assessory 4、PC端连续报错fail:并且手机弹出USB Accessory Test设置界面,点击“cancel” 5、手机再次弹出CTS Verify设置界面,点击“OK” 此时手机端与PC端各打印出10条信息(PC端仍显示fail) 6、提示:拔掉手机USB线后重新连接 7、手机弹出USB Accessory Test设置界面,点击“OK” 此时手机端与PC端各打印出10条信息(PC端显示成功信息) 8、测试界面:PASS按钮被激活选择:PASS 此时在USB Accessory Test测试界面看到SENT MESSAGES 和RECEIVED MESSAGE 两栏都有10条收发信息才能Pass | PASS | ||
46 | JOB SCHEDULER | Charging Constraints | 充电限制 | 连接充电器,点击Start test 拔掉充电器 | FAIL | 对充电器电流有要求。平板和手机不一样,最好是原厂充电器 |
47 | Connectivity Constraints | 数据连接限制(关闭WIFI和数据流量) | 关闭WIFI和数据流量 点击 start test | PASS | ||
48 | idle Mode Constraints | 空闲模式 | 进入 idle Mode Constraints测试项:(锁屏方式为:NONE) 1、点击“start test” 2、按照提示:点击POWER键灭屏,等待1S 3、自动亮屏,2个测试项显示全部PASS | NA | GW7009无此测试项 | |
49 | Location | Battery Saving Mode Test | 节电模式 | 设置定位模式为:低耗电模式--进入测试项,自动显示PASS | PASS | |
50 | Devices Only Mode Test | 本地模式 | 设置定位模式为:本地模式 | PASS | ||
51 | High Accuracy Mode Test | 精准模式 | 设置定位模式为:精准模式 | PASS | ||
52 | Location Mode Off Test | 关闭位置 | 关闭 位置 | PASS | ||
53 | MANAGED PROVISIONING | BYOD Managed Provisioning | 前置条件:加密手机 | 手机电量大于90%,插入充电器 进入测试项,点击 STAR BYOD PROVISIONING FLOW 按钮,连续点击next | FAIL | 加密失败。提示:手机中用户数量已达到上限。 |
54 | Profile owner installed | 手机加密成功重启后进入测试项,点击 STAR BYOD PROVISIONING FLOW按钮 连续点击next | BLOCK | 同上 提示:用户数量已达上限 | ||
55 | Badged work apps visible in Launcher | 点击“go”--->桌面中的app被标记 那么PASS | BLOCK | 同上 | ||
56 | Work notification is badged | 点击“go”--->下拉通知栏,出现被标记的通知 那么PASS | BLOCK | 同上 | ||
57 | Work status icon is displayed | 点击“go”--->状态栏出现标记后,点击finish按钮 那么PASS | BLOCK | 同上 | ||
58 | Work status toast is displayed | 点击“go”--->屏幕下方弹出Toast提示:you are using this app in your work profile 那么PASS | BLOCK | 同上 | ||
59 | profile-aware accounts settings | 点击“go” ,进入“设置”->“账户”界面 存在“Remove work profile”选项 那么PASS | BLOCK | 同上 | ||
60 | profile-aware device administrator setting | 点击“go” ,进入“设置”->“安全”->“设备管理”界面 存在“Personal”和“Work”两个分类 并且Work分类栏中“CTS Verifier”被勾选 那么pass | BLOCK | 同上 | ||
61 | profile-aware trusted credential setting | 点击“go” ,进入“设置”->“安全”->“信任凭据” 存在“Personal”和“Work”两个分类 并且两个分类中的凭据相同 那么PASS | BLOCK | 同上 | ||
62 | profile-aware app setting | 点击“go” ,进入“设置”->“应用”界面 “all apps”筛选中存在“Personal”和“Work”两个分类 无异常那么PASS | BLOCK | 同上 | ||
63 | profile-aware location setting | 点击“go” ,进入“设置”->“位置信息” 存在"Work profile" | BLOCK | 同上 | ||
64 | profile-aware data usage settings | 点击“go” ,进入“设置”->数据流量界面 存在已标记的应用使用流量的记录(提前运行几个带标记的应用) 那么PASS | BLOCK | 同上 | ||
65 | profile-aware printing setting | 点击“go” ,进入“设置”->打印中 存在“Personal”和“Work”两个分类 那么PASS | BLOCK | 同上 | ||
66 | Open app cross peofiles from the persion side(通过Persion类型的快捷方式 启动应用) | 点击“go”,点击“CTS Verifier”快捷方式 点击finish | BLOCK | 同上 | ||
67 | Open app cross peofiles from the work side (通过Work类型的快捷方式 启动应用) | 点击“go”,点击带标记的“CTS Verifier”快捷方式 点击finish | BLOCK | 同上 | ||
68 | app links from the work side (分别选择两种快捷方式 启动应用) | 1、点击“go”,点击带标记的“CTS Verifier”快捷方式、点击finish 2、点击“go”,点击 | BLOCK | 同上 | ||
69 | Disable non-market apps | BLOCK | 同上 | |||
70 | Enable non-market apps | BLOCK | 同上 | |||
71 | Cross profile intent filters are set | BLOCK | 同上 | |||
72 | Permissions lockdown | BLOCK | 同上 | |||
73 | keyguard disabled features | BLOCK | 同上 | |||
74 | Authentication-bound keys | BLOCK | 同上 | |||
75 | VPN test | BLOCK | 同上 | |||
76 | Turn off work mode | BLOCK | 同上 | |||
77 | Select work lock test | BLOCK | 同上 | |||
78 | Confirm work lock test | BLOCK | 同上 | |||
79 | Organization Info | BLOCK | 同上 | |||
80 | Personal password test | BLOCK | 同上 | |||
81 | Policy transparency test | BLOCK | 同上 | |||
82 | profile-aware data usage settings(wifi) | BLOCK | 同上 | |||
83 | profile-aware data usage settings(Cellular) | BLOCK | 同上 | |||
84 | Disallow apps control | BLOCK | 同上 | |||
85 | Camera support cross Profile image capture | BLOCK | 同上 | |||
86 | Camera support cross Profile video capture(with extra output path) | BLOCK | 同上 | |||
87 | Camera support cross Profile video capture(without extra output path) | BLOCK | 同上 | |||
88 | Sound recorder support cross profile audio capture | BLOCK | 同上 | |||
89 | Enable location | BLOCK | 同上 | |||
90 | Disable location | BLOCK | 同上 | |||
91 | Disable location for work profile | BLOCK | 同上 | |||
92 | Primary receives updates while work location is disable | BLOCK | 同上 | |||
93 | BYOD Provisioning Test | 自动测试 | BLOCK | 同上 | ||
94 | Device Owner Provisioning | device owner negative test | BLOCK | 同上 | ||
95 | Device Owner Requesting Bugreport Tests | Check devices owner(检查owner) 在Setting->security->device administrator查看 | "SET UP DEVICE OWNER" 步骤 1、连接Ubuntu电脑USB 2、运行命令:adb shell dpm set-device-owner ‘com.android.cts.verifier/com.android.cts.verifier.managedprovisioning.DeviceAdminTestReceiver' | PASS | ||
96 | Sharing of requested bugreport declined while being taken(拒绝提交bugreport) | 点击REQUEST BUGREPORT,通知栏弹出相关通知 注:A3底版本没有弹出通知 | FAIL | 无提示通知 | ||
97 | Sharing of requested bugreport accepted while being taken(接受提交bugreport) | 同上 | FAIL | 无提示通知 | ||
98 | Sharing of requested bugreport declined after having been taken(拒绝提交bugreport) | 同上 | FAIL | 无提示通知 | ||
99 | Sharing of requested bugreport accepted after having been taken(接受提交bugreport) | 同上 | FAIL | 无提示通知 | ||
100 | Remove device owner(移除owner) | 1、在Setting->security->device administrator查看 存在账户 2、点击Remove device owner,再次查看,账户成功删除 | PASS | |||
101 | Device Owner Test | Check devices owner | "SET UP DEVICE OWNER" 步骤 1、连接Ubuntu电脑USB 2、运行命令:adb shell dpm set-device-owner ‘com.android.cts.verifier/com.android.cts.verifier.managedprovisioning.DeviceAdminTestReceiver' | PASS | ||
102 | Device administrator settings | 查看device administrator状态 | PASS | |||
103 | WiFi configuration lockdown(手动添加AP热点相关测试) | 前提条件:无线路由自定义AP,可成功连接 unlocking config is modifiable in Settings 1、点击 WIFICONFIG LOCKDOWN OFF后,再点击 GO TO WIFI SETTING 2、修改密码,并成功连接 3、返回测试页面 测试内容备注:手动创建热点,可编辑密码,并成功连接。PASS | PASS | |||
104 | locking config is not modifiable in Settings 1、点击 WIFICONFIG LOCKDOWN OFF后,再点击 GO TO WIFI SETTING 2、跳转wifi设置页面,点击已连接的热点 此时弹出提示框:Action not allowed 备注:wifi无法编辑,并弹出提示 | PASS | ||||
105 | Locked config can be connected to 1、点击 WIFICONFIG LOCKDOWN OFF后,再点击 GO TO WIFI SETTING 2、查看创建的热点是否正常连接 备注:热点正常连接状态,该用例PASS | PASS | ||||
106 | Unlocked config can be forgotten in Settings 1、点击 WIFICONFIG LOCKDOWN OFF后,再点击 GO TO WIFI SETTING 2、点击 Forget network,并且检查已保存列表中无此热点 备注:忘记热点,并且已保存列表中没有该热点 | PASS | ||||
107 | Disallow configuring WiFi | 1、点击SET restriction ,再点击 GO 2、wifi界面,搜索不到任何AP 。PASS | PASS | |||
108 | Disallow configuring VPN | 1、点击set VPN restriction,再点击GO-->进入VPN设置界面,无法添加VPN账户 2、返回测试界面,点击check VPN-->跳转界面,并提示测试结果 3、根据提示结果,确认最终测试结果 | PASS | |||
109 | Disallow data roaming | 1、点击SET restriction ,再点击 GO-->进入数据网络设置页面。数据网络开关置灰 2、点击数据网络开关,-->弹出提示:Action not allowed 备注:数据网络开关置灰,点击弹出提示框 | PASS | |||
110 | Disallow configuring bluetooth | 前提条件:已开启蓝牙 1、点击SET restriction ,再点击 GO 2、蓝牙界面,搜索不到任何蓝牙设备。PASS | PASS | |||
111 | Disallow USB file transfer | 1、点击SET restriction 2、使用USB数据线连接PC和手机 3、下拉通知栏,点击通知--查看USB连接模式 MTP和PTP模式置灰(或被移除),则PASS | PASS | |||
112 | Disable status bar | 1、点击disable status bar-->状态栏无法下拉 2、点击reenable status bar-->状态栏可以下拉并使用 | PASS | |||
113 | Disable keyguard | 1、点击disable keyguard,点击POWER键灭屏,再唤醒-->直接进入测试页面 2、点击reenable keyguard,点击POWER键灭屏,再唤醒-->需滑动解锁,才可以进入测试页面 | PASS | |||
114 | Setting the user icon | 1、点击set user icon,点击go 进入设置界面-用户 1)如果只有一个用户是CtsVerifier,那么pass 2)如果设置中没有用户,返回测试页面。点击PASS | PASS | |||
115 | Permissions lockdown | 安装工具包中的:CtsPermissionApp.apk 步骤一、 1、选择grant,点击open Application settings-->进入app info界面 2、Permissions选项显示contacts,点击查看-->contacts置灰 步骤二、 1、选择Let user decide,点击open Application settings-->进入app info界面 2、Permissions选项显示contacts,点击查看-->contacts高亮显示,并可点击 步骤三、 1、选择Deny,点击open Application settings-->进入app info界面 2、Permissions选项显示No permissions granded,点击查看-->contacts置灰 | PASS | |||
116 | Policy transparency test 准备条件 1、点击:set short support message-->点击set default message 2、点击:set long support message-->点击set default message | Disallow adjust volume 1、打开开关:“Disallow adjust volume” 2、点击:Open settings,调节音量-->音量调节置灰,不可以滑动 3、点击音量调节-->检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | FAIL | 进入音量滑动调节条,没有置灰。仍然可以调节音量 备注:“勿扰模式”置灰状态 | ||
117 | Disallow controlling apps 1、打开开关:“Disallow controlling apps” 2、点击:Open settings,禁用/卸载/停止 任意一个app 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
118 | Disallow config credentials 1、打开开关:“Disallow config credentials” 2、点击:open settings,点击“user credentials” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
119 | Disallow config mobile networks 1、打开开关:“Disallow config mobile networks” 2、点击:open settings,点击“Cellular networks” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
120 | Disallow config tethering 1、打开开关:“Disallow config tethering” 2、点击:open settings,点击“Tethering&portable Hotspot”网络共享与便携式热点 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
121 | Disallow config WI-FI 1、打开开关:“Disallow config WI-FI” 2、点击:open settings,进入wifi列表界面 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
122 | Disallow debugging features 1、打开开关:“Disallow debugging features” 2、点击:open settings-->进入关于手机界面,点击“Build number” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
123 | Disallow factory reset 1、打开开关:“Disallow factory reset” 2、点击:open settings-->进入恢复与重置页面,点击“Factory data reset” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
124 | Disallow fun 1、打开开关:“disallow fun” 2、点击:open settings-->进入关于手机界面,连续点击“Android version” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
125 | Disallow install unknown sources 1、打开开关:“Disallow install unknown sources” 2、点击:open settings-->进入Security界面,点击“Unknown sources” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
126 | Disallow modify accounts 1、打开开关:“Disallow modify accounts” 2、点击:open settings-->进入Account页面,添加或移除已存在的账户 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
127 | Disallow network reset 1、打开开关:“Disallow network reset” 2、点击:open settings-->进入恢复与重置页面,点击“Network settings reset” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
128 | Disallow share location 1、打开开关:“Disallow share location” 2、点击“open settings”-->进入Location页面,点击Location开关 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
129 | Disallow uninstall apps 1、打开开关:“Disallow uninstall apps” 2、点击:“open settings”-->进入Apps列表页面,卸载任意应用 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
130 | Set auto(network)time required 1、打开开关:“Set auto(network)time required” 2、点击:“open settings”-->进入时间与日期页面,点击Automatic date&time 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
131 | Disallow lockscreen unredacted notification 1、打开开关:“Disallow lockscreen unredacted notification” 2、点击:“open settings”-->进入设置,修改锁屏方式为图案-->Notifications页面,点击“show all notification content” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
132 | Set lock screen info 1、“set lock screen info”编辑框中输入文字,如:小明的手机,点击“update” 2、点击:“open settings”-->进入Security界面,点击锁屏方式右侧“设置”图标-->点击“lock screen message” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
133 | Set maximum time to lock 1、“set maximum time to lock”编辑框中输入数字,如:5(单位:秒),点击“update” 2、点击:“open settings”-->进入显示页面,点击“sleep” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
134 | Set password quality 1、“Set password quality”复选框中选择一个密码格式,如:numeric 2、点击:“open settings”-->进入选择锁屏方式页面,选择任意一种非数字锁屏方式 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
135 | Set permitted accessibility services 1、打开开关:“Allow only system accessibility services” 2、点击:“open settings”-->进入“无障碍”页面,点击“Dummy accessibility service 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
136 | Set permitted input methods 1、打开开关:“Allow only system input methods” 2、点击:“open settings”-->进入输入法列表页面,点击“Dummy input method” 3、检查是否弹出预设置的short support message提示 4、点击提示“more details”-->跳转到设备管理员页面,并弹出long support message | PASS | ||||
137 | Remove device owner(移除owner) | 点击remove device owner, 检查:设置--安全-设备管理器中的CTSVerifier,不再是管理员 | PASS | |||
138 | NETWORKING | Bluetooth Test 注:用两台均安装了CtsVerifier的设备 | Bluetooth control | Toggle Bluetooth(开关蓝牙) 点击Enable开启,点击 Disable关闭 | PASS | |
139 | bluetooth low energy 注:两台设备 已配对蓝牙 | BLE Advertiser Test(被搜索) --BLE Tx Power Level(4个 不同频段的蓝牙信号 可以被成功搜索) 1、点击“start” 2、辅助机打开“BLE Scanner Test”,可以搜索到4个频段的信号,信号强度递增 3、点击“stop” | PASS | |||
140 | BLE Scanner Test(搜索) ----BLE Tx Power Level(如果搜索不到,重启两部手机,再次测试) 1、辅助机打开“BLE Advertiser Test”,点击“start” 2、测试机打开“BLE Scanner Test”,可以搜索到4个频段的信号,信号强度递增 3、辅助机点击“stop” | PASS | ||||
141 | Insecure Client(无秘钥) | 同时进行程序并测试蓝牙,一台设备选中测试项中的client,则另一台设备选中相应测试项中的server,即可开始测试,进入测试后均会提示开启蓝牙,然后选中server的设备点击下方按钮Make Discoverable,选中client的设备点击下方按钮Scan for Devices,client的列表中会出现可连接的设备名,选中server设备的名称,若连接成功会有数据传输,即可点击左下角的pass按钮,通过该项测试(若出现server设别名称出现在Paired Devices列表中,这点击该名称,会进入蓝牙设置界面,长按server名称,选中unpair,取消配对) | PASS | |||
142 | Insecure Server | PASS | ||||
143 | Secure Client(秘钥) | PASS | ||||
144 | Secure Server | PASS | ||||
145 | Network Connectivity Screen Off Test | 锁屏保持WIFI连接(IPV6) 注:不连接USB线或充电器 | 1、点击start 2、灭屏 3、等待两分钟后,自动亮屏,PASS | BLOCK | 需要IPV6网络 | |
146 | Wi-Fi Direct Test(热点) 注:测试前,进入wifi设置,将已保存AP忘记 需两台测试机 | GO Negotiation Responder test | 如果测试机选择GO Negotiation Responder Test,则配合终端选择GO Negotiation Requester Test(最好作为服务端的一端先进入),进入后服务端不操作,请求端点击测试) 1、辅助机进入Go negotiation test(push button)-->测试机弹出提示框,点击“accept” 2、辅助机进入Go negotiation test(pin)-->测试机输入响应的PIN码,并点击“accept” | PASS | ||
147 | GO Negotiation Requester test | PASS | ||||
148 | Group Owner Test | 原理同上 | PASS | |||
149 | Group Client Test | PASS | ||||
150 | Service Discovery Responder Test | 原理同上 | PASS | |||
151 | Service Discovery Requester Test | PASS | ||||
152 | NOTIFICATIONS | CA Cert Notification Test 注:需设置锁屏密码 | CA 证书安装 | (1)进入后点击Do it,安装所需证书,证书位置:在手机内置存储根目录,找到myCA.cer进行安装 (2)点击第二个Don it,进入USER证书界面,显示刚才安装的证书“internet Widgits Pty Ltd”,点击此证书可以正常进入,证书界面点击OK button,然后返回CTS Verfifier测试界面 (3)点击DO IT,移除锁屏密码。状态栏左侧显示一个三角叹号图标,下拉状态栏,显示Network may be monitored字样,点击此通知,进入证书界面,点击此证书,正确打开,跟步骤(2)一样即可,返回测试主界面,点击Done按钮 (4)下拉状态栏,点击清除按钮,可以清除状态栏的三角叹号图标(即Network may be monitored字样),点击Done按钮-----如果不能清除,fail此项 | PASS | |
153 | CA Cert Notification on BootTest | 安装证书后重启手机,弹出提示 | 1、首先点击Check Credentials,查看是否安装了证书文件(上面步骤已经安装), 2、如果没有安装,点击“install credential” 3、如果能正常打开证书文件,返回测试界面,重启测试机,重启后,下拉状态栏显示网络被监控的通知消息 4、点击查看通知,能进入查看证书。确认没有问题后Pass此项 | PASS | ||
154 | Condition Provider Test | 开启和关闭 Provider service | 1、点击LAUNCH SETTING 开启服务,进入“Do Not Disturb access”页面, 2、打开开关“CTS Verifier” 3、返回测试页面,等待自动测试结果 (测试项 Unsubscribing to Automatic Zen Rule 如果有没有变绿色pass,则点击back,再次进入测试一次,多次尝试测过即可,一般最多测试2次) 4、自动测试通过后,点击下方的“LAUNCH SETTING”,关闭开关“CTS Verifier” 5、PASS亮起 | PASS | ||
155 | Notification Attention Management Test | 通知管理(免打扰) | 1、点击“launch settings”,进入“Notification access”页面 2、打开开关“Notification Listener for CTS Verifier” 根据要求选择通知打扰方式:下拉通知栏并点击“免打扰”快速设置图标: 1)开启“免打扰”:选择Total silence,点击“I'm Done” 2)关闭“免打扰”,点击“I'm Done” 3)开启“免打扰”:选择Priority only:并进入自定义->短信设置为“From starred contacts only”、其它为默认,点击“I'm Done” 4)关闭“免打扰”,点击“I'm Done” 3、等待自动测试结果,PASS亮起 | PASS | ||
156 | Notification Listener Test | 通知监控 | 上一项测试完成后,进入此项自动测试 1、点击最下方“launch settings”,关闭开关“Notification Listener for CTS Verifier” 2、PASS亮起 | PASS | ||
157 | Notification Package Priority Test | 程序优先通知测试 | 安装:NotificationBot.apk(在CTS-Verify 7.0 r6资源包) 1、点击“launch setting”,打开开关“Notification Listener for CTS Verifier” 2、进入setting->Prompt¬ification->CTS Verifier:确认“Override Do Not Disturb”开关处于关闭,-->返回测试页面,点击I'M DONE 3、进入setting->Prompt¬ification->CTS Verifier:开启“Override Do Not Disturb”开关,点击I'M DONE 4、PASS亮起 | PASS | ||
158 | OTHER | Backup Accessibility Setting Test 注:需要两部测试机,如果没有集成GMS不能登录Google账号,那么此项忽略或直接PASS | 个人设置自动备份与恢复 | 1、确认自动备份与恢复开关状态:开启,并且登录Google账号 注:找不到开关,用以下命令开启 adb shell bmgr enable true 检查:adb shell bmgr enabled 2、点击:“Read Current Values”读取默认设置的值(显示绿色字体) 3、更改所有设置项的默认值 4、开始备份(使用命令:adb shell bmgr run) 5、辅助机恢复出厂设置:开机向导界面->根据账号恢复个人所有数据 6、辅助机安装CTS Verify,进入此项读取values与测试机对比 7、两部手机数据对比一致:PASS | NA | GW7009无此测试项 |
159 | Data Backup Test | 个人数据自动备份与恢复 以下两个数据:数据随机产生 1、Preferences: 2、File | 1、确认自动备份与恢复开关状态:开启 注:找不到开关,用以下命令开启 adb shell bmgr enable true 检查:adb shell bmgr enabled 2、开始备份(使用命令:adb shell bmgr run) 3、卸载应用:adb uninstall com.android.cts.verifier 4、重装应用,进入此项,检查对比卸载前的数据一致:PASS | NA | GW7009无此测试项 | |
160 | Screen Pinning Test | 锁定屏幕测试 | 根据提示长按Back键等 1、点击“NEXT”,弹出提示框:Screen is pinned,点击“GO IT”返回测试页面 2、点击“NEXT”,再次点击“NEXT” 3、长按“BACK”-->取消固定屏幕。点击“NEXT” 4、点击“NEXT”,弹出提示框:Screen is pinned,点击“GO IT”返回测试页面 5、点击“NEXT”,提示测试完成,PASS亮起 | PASS | ||
161 | Widget Framework Test | 桌面小部件测试 | 1、进入测试,点击Home键,在桌面添加小部件:CTS-verify 2、在小部件中根据提示测试:点击“start test” 步骤1:记录部件默认大小(如:W:336;H:444) 步骤2:双指拖动部件边缘改变部件大小(W、H的数据跟随变化,否则FAIL) 步骤3:小部件中显示50个Item 步骤4:小部件显示位置(Home Screen Or Lock Screen),检测小部件是否可以移动到HOME屏,可以移动到HOME屏,则PASS | PASS | ||
162 | PROJECTION TESTS | Projection Cube Test(正方体投影) | OpenGL测试:3D | 点击两个正方形的动画投影,导致变大 | PASS | |
163 | Projection Multitouch Test | 多点触屏测试 | 两根手机在屏幕上显示的两个原点,可以拖动重合成一个 | PASS | ||
164 | Projection Offscreen Activity | 屏幕翻转测试 | 1、点击Power键,关闭屏幕 2、翻转手机屏幕向下:5秒以上 3、解锁进入测试项 提示Success | PASS | ||
165 | Projection Scrolling List Test | 列表滚动测试 | 列表中有50个Item,并且可以上下滚动 | PASS | ||
166 | Projection Video Playback Test | Video回放测试 | 一个闪烁的白色方块和beep声音同时出现 | PASS | ||
167 | Projection Widget Test | widget导航测试 | 点击UP或DOWN按钮,下方4个Button分别高亮显示 点击Button,高亮消失 | PASS | ||
168 | SECURITY | KeyChain Storage Test 前提条件:设置开机密码 | 安装证书可以被授权、恢复,用于创建有效的HTTPS连接 | 步骤1:点击“NEXT”->自动初始化完成,再次点击“NEXT”进入测试 步骤2:点击“NEXT”创建证书并安装成功,再次点击“NEXT” 步骤3:点击“NEXT”选择当前的证书,并点击“allow” 步骤4:log显示连接成功,并点击“NEXT” 步骤5:点击“NEXT”后,进入“安全设置”页面 1)点击“Clear credentials”,并输入锁屏密码,清理设备证书 2)修改锁屏方式为“None” 步骤6:点击:NEXT后,NEXT按钮消失 PASS | PASS | |
169 | Keyguard Password Verification | 修改锁屏方式测试 | 1、点击SET PASSWORD,设置密码 2、点击CHANGE PASSWORD,变更锁屏方式 3、锁屏,并成功解锁 | PASS | ||
170 | Lock Bound Keys Test | 解锁测试 | 1、点击START TEST,输入密码解锁 | PASS | ||
171 | SENSORS | Acceleration Measurement Tests | 重力感应测试 | 前提条件: 1、点击NEXT,开启飞行模式,并返回测试界面 2、关闭屏幕亮度适应环境、关闭屏幕自动旋转、点击NEXT,关闭保持屏幕常亮,并返回测试界面 3、点击NEXT,关闭Location 开始测试: 4、testBottomSide保持手机底部垂直桌面并静止,点击NEXT(如果不通过,点击返回,多测试几次) 5、testFaceDown 保持手机屏幕面向桌面并静止,点击NEXT 6、testFaceUp 保持手机屏幕面向天花板并静止,点击NEXT 7、testLeftSide 保持手机左侧垂直桌面并静止,点击NEXT 8、testRightSide保持手机右侧垂直桌面并静止,点击NEXT 9、testTopSide 保持手机顶部垂直桌面并静止,点击NEXT 10、点击“NEXT”,关闭飞行模式 | PASS | |
172 | CTS Sensor Batching Tests | 点击NEXT,自动测试 | 1、进入测试页面,根据提示 开启“飞行模式”, 关闭屏幕亮度适应环境、关闭屏幕自动旋转、关闭保持屏幕常亮、关闭Location 2、返回测试页面,并点击“NEXT”,进入Activate device administrator页面,点击“Activate this device administrator” 3、返回测试页面,手机放在水平的桌面上,点击“NEXT”,测试过程中会锁屏,测试完成后会提醒并亮屏 4、输入密码解锁,返回测试页面。点击“NEXT”-->关闭飞行模式 5、返回测试页面,PASS | PASS | ||
173 | CTS Sensor Integration Tests | 点击NEXT,自动测试 | 同上 | PASS | ||
174 | CTS Sensor Tests | 点击NEXT,自动测试 | 同上 | FAIL | 测试项:testSensorOperations testSensorOperations(android.hardware.cts.SensorTest):Attempt to invoke virtual method‘int android.hardware.Sensor.getType()'on a null object reference | |
175 | CTS Single Sensor Tests | 点击NEXT,自动测试(101项 耗时较长,耐心等待) | 同上 | PASS | ||
176 | Device Suspend Test | 点击NEXT,自动测试 | 同上。Passed:1,Skipped:8;没有Fail项--PASS | PASS | ||
177 | Dynamic Sensor Discovery Test | 点击NEXT,自动测试 | 同上。5项不支持,SKIP:5;没有Fail项--PASS | PASS | ||
178 | Magnetic Field Measurement Tests | 点击NEXT,自动测试 | 同上。1项不支持;没有Fail项--PASS | PASS | ||
179 | Sensor Batching Tests | 点击NEXT,自动测试 | 根据提示测试: 点击“NEXT”,用手在手机前端的光感器件前晃动。(或 握住手机步行一段距离) 反复重复以上步骤多次 PASS:2,Skip:6;没有Fail项--PASS | PASS | ||
180 | Significant Motion Tests | 点击NEXT,自动测试 | 1项不支持;没有Fail项--PASS | PASS | ||
181 | STREAMING | Sreaming Video Quality Verifier 注:连接VPN测试 | 流媒体测试 | 逐一播放不同分辨率的视频 | BLOCK | 需VPN翻墙 |
182 | VR | VR Tests | VP模式 | 逐一点击按钮 PASS | NA | GW7009无此测试项 |