通信协议测试Beta&EWP问题测试规范

1. 前言

现网投诉类问题的复现，一直没有标准的测试规范，测试人员的测试随机性很大，测试结果也会随着测试方法不同千差万别，最终导致问题无法定位或者反复测试。

针对以往产品的经验，我们经常遇到如下痛点：

1. Log不全，没有AP侧log或者modem侧log；没有主叫或者被叫log;没有对比机log；log配置文件错误，没有抓到需要的log等等；

2. 测试组提供的log超大(动辄好几百MB甚至上G)；

3. 没有提供发生问题的时间点；

4. 测试情况日报内描述不清晰；

如上这些问题，可能导致问题反复沟通不清楚，要求复测，重新测试，重新分析，研发分析效率低，且增加沟通成本，浪费了人力物力，产生了无效工作量，甚至可能产生错误的分析结论。为了减少这些问题，提高沟通效率，减少人力浪费，提高研发分析效率，我们总结以往的经验，联合研发测试，共同输出了针对各类问题的测试指导规范。

2. 适用范围

本测试指导适用于：BETA外场测试，CHR外场测试，EWP问题外场测试，其他类型的测试也希望能够参考此测试规范。

使用人员：协议开发、协议测试、协议PM

3. 测试准备和校准

1. 入口条件

软件条件：

1 正式转测试的版本，未经过任何手动修改配置项或者设置某些特殊功能菜单（比如关闭呼叫等待，开启呼叫转移等操作。专项测试除外），软件版本基本功能稳定；

2 BETA或者EWP问题测试，要求软件版本与用户问题使用版本一致，验证问题除外；

3 log工具要使用与测试问题匹配的log_config。比如高通log需要抓语音包，需要采用能够抓到语音帧的logmask；

4 测试前要同步所有测试机，对比机，辅助机的手机时间，如果涉及PC，要同步PC时间，保持所有时间的一致性后进行测试；

5 BETA/EWP外场测试需要样机的射频OTA指标、软件版本稳定；

射频OTA：要求OTA测试达标样机，并保证各网络制式的基本频点OTA数据达标；

软件版本：要求软件版本与用户问题使用版本一致；

2. 硬件工具

与用户问题一致的SIM卡、笔纸、USB线、便携机、测试机、对比机、辅助机（如果是Iphone手机，请备好USB线转接头）等硬件工具；

1. 测试机与对比机

1. 测试机

• 测试机选择：与用户上报问题的机器子型号保持一致；

• 测试机预装软件：安装最新版本Beta Club、AresRT并确认可用；

//如果样机有保密外壳，需要确认好对于外场测试的影响；

2. 对比机

• 对比机选择：单卡问题选择IPHONE6/IPHONE6+为对比机；如果用户上报为双卡问题或者电信SVLTE问题，选择SAMSUNG作为对比机（移动联通考虑NOTE4、电信考虑S5）；涉及语音质量类问题，对比机使用KNT/MLA，Hisi平台电信问题对比MHA。

• 对比机预装软件：三星对比机请安装AresRT并确认可用；Iphone手机请确认log可正常抓取并能够导出；华为对比机安装Beta 俱乐部。

3. 参考全解寻呼机

• 寻呼机选择：被叫不通问题必须携带：FRD寻呼机（LTE）；MLA/CAN寻呼机（CDMA）

• 寻呼机预装软件：安装最新版本Beta Club、AresRT并确认可用；软件版本需要和张文莉/付雷确认

2. 便携机

请安装配置ADB、QCAT、QPST、QXDM、HIDS、HiMS、iTunes等工具并确认可用；请安装测试机和对比机的驱动并确认可用；请将相应的logmask下载到便携机；（三方合作员工安装HIDS&HiMS需要申请特殊权限）

3. 被叫不通问题-硬件资源：

1. 便携机需要安装Call Center工具，同时需要一部辅助机和一张流量充足的SIM卡搭建热点；（三方合作员工无Call Center只能用MO/MT方式进行测试）

2. 准备几部辅助机和SIM卡（数量=测试机+对比机）；

3. 准备几部可用的座机（数量=测试机+对比机）；

注意：①、②、③任选其一即可，再准备几张同一寻呼组的SIM卡（数量=测试机+对比机），如果没有足够数量的同一寻呼组的卡，请带一部全解寻呼的手机；

4. 掉话问题-硬件资源：

① 携机需要安装Call Center工具，同时需要一部辅助机和一张流量充足的SIM卡搭建热点；（三方合作员工无Call Center只能用MO/MT方式进行测试）

② 准备几部辅助机和语音包充足的SIM卡（数量=测试机+对比机），同时辅助机需要安装Beta Club并确认可用；

③ 准备几部可用的座机（数量=测试机+对比机）；

注意：①、②、③任选其一即可；

5. 单通问题-硬件资源：

请准备几部辅助机和语音包充足的SIM卡（数量=测试机+对比机），同时辅助机需要安装Beta Club并确认可用,且将Beta Club配置文件选取正确。

6. 全部测试问题-软件资源要求：

※重要：EWP测试时若为用户机安装Beta Club测试，测试完毕导出log后，一定要卸载用户机中Beta Club，一定不允许用户自己抓取log。

3. 测试准备/Checklist

测试前打印此表格作为Checklist
准备项目	描述	检查结果	备注说明
地点	根据用户回访的详情一致
Cell ID和信号强度 样机	根据已有log或CHRlog提供的信息，提供Cell ID和信号强度范围（BETA必选/EWP可选）
	※重要：样机硬件检测，无重大损坏或者摔过，包括测试机和对比机
	测试样机OTA指标确认达到外场测试要求
	若测试多部样机，样机需要编号，并且和IMEI号&S/N号对应记录
	记录测试样机和对比机IMEI/SN/硬件版本
	※重要：确认好此次测试的样机软件版本
	测试样机root已经升级且能够抓取LOG(EWP可选，用户机不可root)
	测试机和对比机电池电量充满
全解寻呼机 SIM卡	FRD（AL）全解寻呼机（接受LTE寻呼），电信使用高通机器（关闭时隙模式，详见附件4），包含软硬件及测试软件，log抓取软件（被叫不通问题必选）
	测试SIM卡通过表格记录，包括SIM卡编号，卡后面的数字和手机号码等对应关系
	查询SIM卡余额和剩余套餐资源足够本论测试，若不够及时充值
	确认好SIM卡在手机上都可用
SIM卡（可选） SD卡	移动/联通 ：同一寻呼组的SIM卡 电信：同一频点的SIM卡
	为保证存储空间足够，SD卡建议32GB
	记录好SD卡编号，和手机对应关系
PC	※重要：需要SD卡抓LOG的手机，默认存储设置到外置SD卡，并确认抓取在外置SD卡
	便携机上LOG抓取工具均已经安装
	便携机上手机驱动已经安装
测试apk	需要PC上进行的测试工具已经安装，FTP测试时的客户端，Netmeter
	※重要：测试apk已安装在测试机和对比机上
	※重要：测试apk验证可用
	※重要：测试apk打印结果正确
LOG工具	测试apk后台保存的打印结果正确
	LOG工具已经安装在测试机和对比机上
	若对比机不能用log工具则确认通过PC可以抓取LOG
	LOG工具验证可用
	※重要：LOG打印和正常保存
时间校准	※重要：测试机、对比机、辅助机时间和电脑时间都需要校准且同步，误差在2秒内
结果记录	测试结果记录表格具备
问题记录	测试问题记录表格具备
USB线	测试机和对比机是否需要连接USB线需确认
是否双卡	若测试机为双卡手机，测试时两个卡槽都插卡测试(BETA&EWP需按照用户反馈场景测试)

问题确认- Checklist
注意事项	描述	检查结果	备注说明
测试机log	问题log（Modem + AP+CHR），必要的Dump log
对比机log	问题需要对比机modem log，和测试机同步
问题规律	动态测试，若某个地方问题容易出现，缩小范围多测试几组数据，寻找规律，做基础的对比分析，举一反三
工具问题	若由于工具问题导致测不起来达30分钟，需要跟测试安排者确认，以调整测试方法或进行其他测试
死机/重启	测试过程中需要关注死机/重启等异常问题，记录和保存好log
异常/问题	测试中遇到任何无法确认或解决的问题/异常，需要跟测试安排者及时联系并确认
双卡测试	若测试机为双卡手机，测试结果需要有：双卡 + 对比机 三组数据

4. 样机摆放

样机摆放当前有三种方法：固定放置、手持和夹具固定。

测试样机是否需要连接USB线充电或者抓取LOG，作为测试准备/Checklist项确认，并且在测试结果中说明是否连接USB线。

• 样机摆放方法1：固定放置

此方法适用于通话、搜网/驻留KPI、数据业务KPI在静态、动态外场及高铁场景的测试。

样机摆放参考图3：样机并排放置进行测试；注意要点：

• 测试机（DUT）和对比机并行摆放在固定的位置：

• 每次测试放置的位置一样；

• 摆放方向需要一致；

• 测试样机DUT和对比机之间间隔固定（15cm）；

※注意：金属材料的桌子上，需要在桌子上面用书/盒子等不会明显影响信号衰落的物体垫高手机，以免直接与金属接触影响手机信号效果。参考图4：样机垫高。

图3：样机并排摆放置进行测试

图4：样机垫高

• 样机摆放方法2：手持

此方法适合于通话相关测试。

场景1：一个人的左右手分别持测试机和对比机，固定高度和间隔（两样机间隔15cm），测试期间以固定时间间隔更换手机位置：第一轮左手握测试机，右手握对比机，在第一轮测试结束后，调换两个手机，即左手握对比机，右手握测试机，完成第2轮次测试；手持方法参考图5，按照正常的手持方法，握样机的下半部分。

场景2：若两个人分别手握测试机和对比机，则跟上述一样需要相对同步，A左手握测试机1，则B左手握对比机1，固定时间间隔两个人交换手机，且需要保持手机的方向和位置一致。

图5：测试时样机手持方法

场景3：若涉及到通话语言质量方面的测试，需要特别注意握持方式，确保握住手机中部位置，无档天线或者堵mic情况。

图6：手持范例

5. CHR log导出注意事项

有时CHR log会导不出来，综合几点，总结出下列注意事项：

1. -log版本的机器统一都root

2. 升级前，该导出的CHR都要导出

3. 如用用户机测试，测试后立即导出CHR log

4. 测试时，商用版本把后台AP LOG开关开启，如果是用户机，测试完把后台开关关掉。Beta俱乐部删除

5. 导出CHR时要对执行导出脚本的结果截图（无论导出成功或失败），且导出时均使用最新脚本

6. 测试时一定要区分标注手机版本是log版本还是非log版本

4. 主被叫类

1. 主叫通话

1. 测试工具

测试工具	用途
AresRT.APK	用于自动化测试以及记录手机信号状态，所在小区，所在的接入技术，驻留比例等
手机秒表	用于人工辅助计时
Beta Club	手机上LOG抓取
Beta Club使用说明	详见附件1
Iphone 测试工具	适用于对比机Iphone的测试工具，观测当前的信号及小区信息等

2. 测试要求

• 测试机摆放要求：如3.4描述

• 测试用例

测试项目	主叫不通
测试目的	通过对比测试，发现及定位主叫不通的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看） 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌 4）使用相同寻呼组的SIM卡或者使用同PN的SIM卡 5）按照用户投诉的网络制式进行匹配 6）主被叫测试，测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，且根据用户拨打场景选择测试方式。 2）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可，如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息） 3）参考用户使用场景，需要和用户确认，手持还是自由空间，与用户使用场景保持一致 4）使用手机的AresRT工具，test_call，参数设置：通话保持30S，间隔20S，被叫号码设成客服电话；Iphone手机无法安装AresRT，请手动拨打，10通为1组，先测试2组，看测试结果，如果结果差距<5，则加大测试量，加测3组，共测试5组； 5）测试时若测试机与对比机差异较大时（如呼通率），请测试人员互换测试机与对比机位置或转角再测试一组，以排除位置影响；如果测试时使用的某一张卡+测试机出现次数明显多于对比机，建议两张卡互换后，加测试1组，以排除单卡问题； 6）使用测试记录表，记录测试过程中每次通话的起止时间和问题出现的时间点等相关信息； 7）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试； 注：（10次为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；至少抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，加测3组，共计5组，增加仍然以10次为一组）
检查点	1）拨通电话即记为成功 2）如果接入时延大于20s（从拨号开始到接通)则重点记录

• 抓取modem和AP侧log，测试后要导出手机内CHR log

※抓取的通话log需要进行整理，通话出现问题的几个时间点log+出现问题时间点附近几通正常log需要打包在同一文件夹下；其他正常log需要另外打包上传。

3. 注意事项

1. 如果该问题为必现问题，测试次数可以少于50次，最少不得低于20次

2. 呼叫测试需要记录每次通话所在Cell ID，如果某个Cell ID存在明显异常，需要现场组织针对性复测

3. 测试中需要严格按照测试记录表记录;

※注意：在哪个时间点拨打电话，每一通拨打情况都要详细记录，不要出现打了十通，出现问题几通，只是记录大概某几通失败时间点这种情况。

2. 被叫通话

1. 测试工具

测试工具	用途
AresRT.APK	用于记录手机信号状态，所在小区，所在的接入技术，驻留比例等
手机秒表	用于人工辅助计时
Beta Club	手机上LOG抓取
Beta Club使用说明	详见附件1
Iphone 测试工具	适用于对比机Iphone的测试工具，观测当期的信号及小区信息等
Horus	用于主叫辅助方保证同步发起呼叫，且输出主叫方的信息报告。

2. 测试要求

• 携带常解寻呼版本手机(比如MLA/CAN/FRD,现在frd可以抓取LTE的寻呼，MLA/CAN可以抓取CDMA寻呼log，其他暂时没有，如果需要开发协调出新版本。)

• 抓取主被叫双方log

• 抓取modem和AP侧log

• 主叫辅助方输出主叫发起时间点：精确到分钟以内

• 被叫方输出被叫问题出现时间点：精确到分钟以内

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	被叫不通
测试目的	通过对比测试，发现及定位被叫不通的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看） 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌； 4）使用相同寻呼组的SIM卡或者使用同PN的SIM卡； 5）按照用户投诉的网络制式进行匹配； 6）辅助机及辅助机内SIM卡是否有特殊要求？ 7）主被叫测试，测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，联系主叫辅助方使用horus软件控制辅助机同时给测试机和对比机拨打。（EWP&Beta第三方测试人员无法使用者，使用两台辅助机做主叫配合测试） 2）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可-如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息） 3）参考用户使用场景，需要和用户确认，手持还是自由空间，与用户使用场景保持一致 4）主叫辅助方使用horus软件，（EWP&Beta第三方测试人员无法使用者，使用两台辅助机安装Beta Club做主叫配合测试），保持多台辅助机每次呼叫同步，呼叫10次，每次呼通成功后保持15S，每通间隔20s，共测试10组。 5）测试时若测试机与对比机差异较大时（如呼通率），请测试人员互换测试机与对比机位置或转角再测试一组，以排除位置影响；如果测试时使用的某一张卡+测试机出现次数明显多于对比机，建议两张卡互换后，加测试1组，以排除单卡问题； 6）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息； 7）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试 注：（10次为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；至少抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，加测3组，共计5组，增加仍然以10次为一组）
检查点	1）拨通电话即记为成功 2）主叫方需要提取horus的报告文件，确认工具运行正确，报告结果正常输出。（EWP&Beta第三方人员测试使用主叫辅助机，请记好辅助机拨打时间点及测试过程中出现的异常情况等） 3）如果被叫方发现被叫失败，需手动记录Iphone失败时间点，测试机可使用AresRT对应脚本，测试后导出报告结果。

3. 注意事项

1. 如果该问题为必现问题，最少不得低于20次（2组）；

2. 主叫方辅助手机需要选择性能指标较好的手机，且保证处于良好的网络环境下，避免主叫方问题导致的测试结果不准确；

3. 呼叫测试需要记录每次通话所在Cell ID，如果某个Cell ID存在明显异常，需要现场组织针对性复测；

4. 测试中需要严格按照测试记录表记录。

3. Volte特性

说明：Volte特性在主被叫测试的操作步骤与常规通话一致，主要在于检查点和注意事项有新增。

1. 检查每次通话是否都在4G下发起（HD图标是否一直存在）。

2. 是否有SRVCC现象出现。

3. 呼通时延是否小于2s（大于2s则视为时延长）

5. 掉话类

掉话类问题复测方法，试用户反馈情况为准，推荐优先使用短呼多次的测试方式，若用户反馈为通话时长高于10分钟后才会掉话，则启动长保掉话测试。

1. 长保掉话类

1. 测试工具

测试工具	用途
AresRT.APK	用于记录手机信号状态，所在小区，所在的接入技术，驻留比例等
Call Center	用于拨打测试机和对比机，并保持通话。(EWPΒ第三方员工测试不使用)
Beta Club	手机上LOG抓取
Beta Club使用说明	详见附件1

2. 测试要求

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	长保掉话
测试目的	通过对比测试，发现及定位掉话的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看） 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌 4）使用相同寻呼组的SIM卡或者使用同PN的SIM卡； 5）按照用户投诉的网络制式进行匹配； 6）测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，使用Call Center软件同步呼叫中心，同时给测试机和对比机拨打； 2）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可，如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息）； 3）参考用户使用场景，需要和用户确认，手持还是自由空间，与用户使用场景保持一致； 4）测试时长保证30分钟为一组，如果有条件（比如用户配合），建议采集4组数据，共计120分钟，如果测试机掉话，对比机也要保持10s之后再挂断对比机（可能对比机信号也很差了，等10s不容易漏问题）。 5）测试时若测试机与对比机差异较大时（如呼通率），请测试人员互换测试机与对比机位置或转角再测试一组，以排除位置影响；如果测试时使用的某一张卡+测试机出现次数明显多于对比机，建议两张卡互换后，加测试1组，以排除单卡问题； 6）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息； 7）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试； 注：（每一个小时为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；至少抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以30分钟为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要提取Call Center的报告文件，确认工具运行正确，报告结果正常输出。（EWP&Beta第三方人员测试使用辅助机，请记好辅助机拨打时间点及测试过程中出现的异常情况等） 3）如果发现出现掉话现象，需记录准确掉话时间点。

3. 注意事项

1. 若掉话现象明显（例如头30分钟已经出现多次掉话），则测试满30分钟即可；

2. 保持通话过程需要记录每次通话所在cell ID，如果某个CELL ID存在明显异常，需要现场组织针对性复测；

3. 测试中需要严格按照测试记录表记录。

2. 短呼掉话类

1. 测试工具

测试工具	用途
AresRT.APK	用于记录手机信号状态，所在小区，所在的接入技术，驻留比例等
Call Center	用于拨打测试机和对比机，并保持通话。(EWPΒ第三方员工测试不使用)
Beta Club	手机上LOG抓取
Beta Club使用说明	详见附件1

2. 测试要求

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	短呼掉话
测试目的	通过对比测试，发现及定位掉话的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看） 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌； 4）使用相同寻呼组的SIM卡或者使用同PN的SIM卡； 5）按照用户投诉的网络制式进行匹配； 6）测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，使用Call Center软件同步呼叫中心，同时给测试机和对比机拨打； 2）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可，如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息）； 3）参考用户使用场景，需要和用户确认，手持还是自由空间，与用户使用场景保持一致； 4）测试时长保证每通5分钟，10通电话为一组。如果有条件（比如用户配合），建议采集2组数据，共计100分钟（实际加上通话间隔或者软件调试约120分钟）； 5）测试时若测试机与对比机差异较大时（如呼通率），请测试人员互换测试机与对比机位置或转角再测试一组，以排除位置影响；如果测试时使用的某一张卡+测试机出现次数明显多于对比机，建议两张卡互换后，加测试1组，以排除单卡问题； 6）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息； 7）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试抓取； 注：（LOG保存每10通电话为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；至少抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以10通电话为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要提取Call Center的报告文件，确认工具运行正确，报告结果正常输出。（EWP&Beta第三方人员测试使用辅助机，请记好辅助机拨打时间点及测试过程中出现的异常情况等） 3）如果发现出现掉话现象，需记录准确掉话时间点。

3. 注意事项

1. 若掉话现象明显（例如头10通电话已经出现多次掉话），则测试20通电话即可。

2. 保持通话过程需要记录每次通话所在Cell ID，如果某个CELL ID存在明显异常，需要现场组织针对性复测 ；

3. 测试中需要严格按照测试记录表记录；

3. Volte特性

说明：volte特性在掉话测试的操作步骤与常规通话一致，主要在于检查点和注意事项有新增。

1. 检查通话过程中是否都在4G下发起（HD图标是否一直存在）。

2. 是否有SRVCC现象出现。

3. 出现掉话时的现象，是在volte状态下掉话，还是SRVCC掉话。

6. VOLTE 通话CSFB类

1. VOLTE类测试说明

VOLTE通话比较特殊，可能会存在原本有VOLTE的环境，但是依然出现CSFB通话的情况，测试时，要注意，不要拨打10086/114/95533/95595这种服务号类型的特殊号码，这种号码由于网络配置不通，可能会出现CSFB通话现象。

2. VOLTE类测试要求

VOLTE通话对应的主被叫、长短呼、语音质量类测试，测试规范遵循文档中对应部分。

volte特性在掉话测试的操作步骤与常规通话一致，主要在于检查点和注意事项有新增。

1. 检查通话过程中是否都在4G下发起（HD图标是否一直存在）。

2. 是否有SRVCC现象出现。

3. 出现掉话时的现象，是在volte状态下掉话，还是SRVCC掉话。

7. 语音质量类

1. 语音类问题说明

历来语音类问题无论是从测试手法还是分析过程来看，都是难点。语音类问题大概分为上行和下行问题，在测试过程中，针对用户反馈的具体情况进行测试，具体测试方法如下，用户反馈上行问题时，采用M to M 方式，即测试机与辅助机互打；下行问题时，采用电话会议形式。如果用户反馈既有上行问题，又存在下行问题时，着重测试出现概率较高的问题，若用户说不出具体概率时，优先以上行语音类问题方法测试，若上行不复现时，在采用电话会议测试下行。

2. 单通或者双不通类

1. 测试工具

测试工具	用途
AresRT.APK	用于记录手机信号状态，所在小区，所在的接入技术，驻留比例等
SetAudioParameters.apk	需要时导出音频寄存器相关LOG时使用
Beta Club	手机上LOG抓取(Hisi平台日志配置选择语音数据--filedtest.cfg，高通平台日志配置策略选项DIAG_CALL.cfg)
Beta Club使用说明	详见附件1

2. 测试要求

• 测试机摆放要求，参考本文中3.4部分

• 测试用例

测试项目	单通或者双不通
测试目的	通过对比测试，发现及定位单通或者双不通的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看）； 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中用户使用方式的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌；（如果条件允许，最好当面看用户持机方式，确认是否堵孔） 4）关于测试机及对比机要求，非特别说明时：测试机A，对比机B，辅助机C，辅助机D。辅助机C和辅助机D，采用相同型号机器（最好与测试机同平台），对比机和辅助机，都不使用Iphone；（高通同平台对比机：MLA，Hisi同平台对比机：KNT，如果是电信卡建议选用MHA） 5）关于测试卡及对比卡的要求：测试卡a，对比卡b，辅助卡c，辅助卡d。 非特别说明时：ab使用同制式同运营商的卡，cd使用同制式同运营商的卡；（使用相同寻呼组的SIM卡或者使用同PN的SIM卡，在无特殊要求时辅助机不要使用电信卡）； 6）按照用户投诉的网络制式进行匹配。 7）测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，根据用户反馈，确定主叫拨打给辅助方还是被叫接听辅助方来电（即根据用户反馈上行问题还是下行问题）。 2）如果确定是下行问题，请采用电话会议方式进行测试，辅助机主叫，测试机+对比机被叫，确保主叫端音源相同； 3）如果确认是上行问题，测试机和对比机所采用的辅助机保持一致； 4）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可，如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区CELL ID，LAC，信号强度等相关信息） 5）参考用户使用场景，需要和用户确认，手持还是自由空间，动态使用还是静态使用，与用户使用场景保持一致，特别是上行单通类问题，需要明确用户的握持方式是否有堵mic情况。 6）测试过程中，测试时循环播放预料（保证每通2分钟左右），5通电话为一组，测试3组，保持音源稳定。如果有条件（比如用户配合），建议采集3组数据（必现条件下测试3组，前期未复现时酌情增加测试量），共计30分钟（实际加上通话间隔或者软件调试约35分钟）。 7）使用测试记录表，测试需提供起止时间+出现问题时间+出现无声时的语料开始片段；出现无声也不要立刻停下来，等无声恢复或掉话后再停下，在测试人员听到无声时，可对手机说出“XX手机听到无声现象”，如果通话一直无声，测试机与对比机均保持2分钟挂断即可。 8）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试； 注：（每5通电话为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；若条件满足推荐抓取3组，如果3组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以5通为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要提取Call Center的报告文件，确认工具运行正确，报告结果正常输出。（EWP&Beta第三方人员测试使用辅助机，请记好辅助机拨打时间点及测试过程中出现的异常情况等） 3）如果发现出现掉话现象，需记录准确掉话时间点。

3. 注意事项

1. 若问题必现，则可以减少测试次数，但不能低于3组通话。

2. 保持通话过程需要记录每次通话所在CELL ID，如果某个CELL ID存在明显异常，需要现场组织针对性复测，确保测试机与对比机的差异是在同一个小区出现。否则需要交叉测试，证明测试机无法与对比机注册到同一小区。

3. 需要排查用户手机是否存在单机问题，比如mic故障、听筒故障、进水受潮等。

3. 断续或者杂音类

1. 测试工具

测试工具	用途
AresRT.APK	用于记录手机信号状态，所在小区，所在的接入技术，驻留比例等
SetAudioParameters.apk	需要时导出音频寄存器相关LOG时使用
Beta Club	手机上LOG抓取(Hisi平台日志配置选择语音数据--filedtest.cfg，高通平台日志配置策略选项DIAG_CALL.cfg)
Beta Club使用说明	详见附件1

2. 测试要求

• 测试机摆放要求，参考本文3.4部分

• 测试用例

测试项目	断续或者杂音
测试目的	通过对比测试，发现及定位断续或者杂音的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看）； 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务），开始抓取log； 3）按照回访信息中用户使用方式的持机方式放置手机：左手持机、右手持机、是否使用耳机等以及使用耳机时手机的放置情况，若使用耳机，请确认是蓝牙耳机还是普通耳机，并确认耳机品牌（如果条件允许，最好当面看用户持机方式，确认是否堵孔）； 4）关于测试机及对比机要求，非特别说明时：测试机A，对比机B，辅助机C，辅助机D。辅助机C和辅助机D，采用相同型号机器（最好与测试机同平台），对比机和辅助机，都不使用Iphone；（高通同平台对比机：MLA，Hisi同平台对比机：KNT，如果是电信卡建议选用MHA） 5）关于测试卡及对比卡的要求：测试卡a，对比卡b，辅助卡c，辅助卡d。 非特别说明时：ab使用同制式同运营商的卡，cd使用同制式同运营商的卡；（使用相同寻呼组的SIM卡或者使用同PN的SIM卡，在无特殊要求时辅助机不要使用电信卡）； 6）按照用户投诉的网络制式进行匹配。 7）主被叫测试，测试机和对比机要求在测试地点进行重启和开关飞行模式后在开始测试，如有特殊要求，按照要求测试（如复测时要求驻留相同频点等）。
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，根据用户反馈，确定主叫拨打给辅助方还是被叫接听辅助方来电（即根据用户反馈上行问题还是下行问题）； 2）如果确定是下行问题，请采用电话会议方式进行测试，辅助机主叫，测试机+对比机被叫，确保音源相同； 3）如果确认是上行问题，测试机和对比机所采用的辅助机保持一致； 4）测试机和对比机要求按照测试要求进行摆放（CSFB只要保证4G在同一小区即可-如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区CELL ID，LAC，信号强度等相关信息）； 5）参考用户使用场景，需要和用户确认，手持还是自由空间，动态使用还是静态使用，与用户使用场景保持一致； 6）测试过程中，测试时循环播放预料（保证每通5分钟左右），2通电话为一组，测试3组，保持音源稳定。如果有条件（比如用户配合），建议采集3组数据（必现条件下测试3组，前期未复现时酌情增加测试量），共计30分钟（实际加上通话间隔或者软件调试约35分钟）。 7）使用测试记录表，测试需提供起止时间+出现问题时间+出现杂音断续的语料片段；出现断续也不要立刻停下来，等断续恢复或掉话后再停下，在测试人员听到杂音断续时，可对手机说出“XX手机听到杂音/断续/卡顿现象”。 8）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试 注：（log保存每2通电话为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；若条件满足推荐抓取3组，如果3组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以2通电话为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要提取Call Center的报告文件，确认工具运行正确，报告结果正常输出。（EWP&Beta第三方人员测试使用辅助机，请记好辅助机拨打时间点及测试过程中出现的异常情况等） 3）如果发现出现掉话现象，需记录准确掉话时间点。

3. 注意事项

1. 若问题必现，则可以减少测试次数，但不能低于3组电话。

2. 保持通话过程需要记录每次通话所在CELL ID，如果某个CELL ID存在明显异常，需要现场组织针对性复测，确保测试机与对比机的差异是在同一个小区出现。否则需要交叉测试，证明测试机无法与对比机注册到同一小区

4. Volte特性

说明：volte特性在语音质量测试的操作步骤与常规通话一致，主要在于检查点和注意事项有新增。

1. 检查通话过程中出现语音质量下降时，是否始终在4G网络上（volte状态）。

2. 若发现是volte状态下的语音质量下降，需要立即对比测试机和对比在常规语音通话下的语音质量情况。

8. 搜网数据类

1. 网络制式频繁切换（3/4G）

1. 测试工具

测试工具	用途
AresRT.APK	用于记录测试机信号状态，所在小区，所在的接入技术，驻留比例等
xDevice	用于记录对比机信号状态，所在小区，所在的接入技术，驻留比例等（此工具现在EWP&Beta第三方员工不提供使用）
Beta Club	手机上LOG抓取
Horus	PC端可以同步控制AresRT和xDevice。（此工具现在EWP&Beta第三方员工不提供使用）

2. 测试要求

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	乒乓切换
测试目的	通过对比测试，发现网络频繁切换的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区（如需要复测且已知频点，保持测试机与对比机频点一致），找到信号强度相同或相近的点（CELL ID使用AresRT进行查看，Hisi平台安装AresRT也能看到频点，高通只能连接QXDM查看） 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务，测试CS域驻留信息），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、桌面平放等 4）区分双卡在位还是单卡在位 5）按照用户投诉的网络制式进行匹配
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，根据用户反馈，确定用户上报问题地点信号强度情况，是否为多小区交接点。 2）使用AresRT进行驻留任务观察等； 3）测试机和对比机要求按照测试要求进行摆放（尽量保证注册到同一小区-如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息）； 4）参考用户使用场景，需要和用户确认，手持还是自由空间，若是摆放，尽量精确到摆放的朝向与用户使用场景保持一致。 5）测试过程中，需要在每轮测试时长到一半的时候交换测试机与对比机的位置，特别关注信号在某个制式上相当稳定时，位置交换带来的信号强度变化。 6）测试时长保证每轮30分钟为一组。如果有条件（比如用户配合），建议采集2组数据，共计60分钟（实际加上准备或者软件调试约70分钟）。 7）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息 8）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试 注：（log保存每轮30分钟为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；若条件满足推荐抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以一个小时为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要对AresRT的驻留界面和切换时间点截图。 3）建议手动也记录切换时间点，避免工具遗漏。

3. 注意事项

1. 若问题必现，则可以减少测试次数，但不能低于15分钟。

2. 若问题不易复现，可以根据用户配合程度加大测试力度，仍然以30分钟为一轮测试。

2. 掉网不恢复（3/4G）

1. 测试工具

测试工具	用途
AresRT.APK	用于记录测试机信号状态，所在小区，所在的接入技术，驻留比例等
xDevice	用于记录对比机信号状态，所在小区，所在的接入技术，驻留比例等（此工具现在EWP&Beta第三方员工不提供使用）
Beta Club	手机上LOG抓取
Horus	PC端可以同步控制AresRT和xDevice。（此工具现在EWP&Beta第三方员工不提供使用）

2. 测试要求

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	掉网不恢复
测试目的	通过对比测试，发现掉网不恢复的问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区（如需要复测且已知频点，保持测试机与对比机频点一致），找到信号强度相同或相近的点（CELL ID使用AresRT进行查看，Hisi平台安装AresRT也能看到频点，高通只能连接QXDM查看）； 2）根据回访信息关闭或开启数据业务（若无明确信息请关闭数据业务，测试CS域驻留信息），开始抓取log； 3）按照回访信息中的持机方式放置手机：左手持机、右手持机、桌面平放等 4）区分双卡在位还是单卡在位； 5）按照用户投诉的网络制式进行匹配；
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，根据用户反馈，确定用户上报问题地点信号强度情况，是否为多小区交接点。 2）使用AresRT进行驻留任务观察等； 3）测试机和对比机要求按照测试要求进行摆放（尽量保证注册到同一小区-如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息）； 4）参考用户使用场景，需要和用户确认，手持还是自由空间，若是摆放，尽量精确到摆放的朝向与用户使用场景保持一致。 5）测试过程中，需要在每轮测试时长到一半的时候交换测试机与对比机的位置，特别关注信号在某个制式上相当稳定时，位置交换带来的信号强度变化。 6）如果用户在弱场下掉网后不恢复，可人工制造掉网场景，比如寻找测试环境比较差的点，或人工屏蔽信号等方式，导致测试机掉网5分钟后，将测试机转到网络环境好的地点继续测试； 7）测试时长保证每轮20分钟为一组。如果有条件（比如用户配合），建议采集3组数据，共计60分钟（实际加上准备或者软件调试约70分钟）。 8）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息 9）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，请重新测试 注：（log保存每轮20分钟为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；若条件满足推荐抓取3组，如果3组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以一个小时为一组）
检查点	1）拨通电话后确认能正常收音即记为成功 2）需要对AresRT的驻留界面和切换时间点截图。 3）建议手动也记录切换时间点，避免工具遗漏。

3. 注意事项

1. 若问题必现，则可以减少测试次数，但不能低于15分钟。

2. 若问题不易复现，可以根据用户配合程度加大测试力度，仍然以30分钟为一轮测试。

3. 数据业务不可用

1. 测试工具

测试工具	用途
AresRT.APK	用于记录测试机信号状态，所在小区，所在的接入技术，驻留比例等
xDevice	用于记录对比机信号状态，所在小区，所在的接入技术，驻留比例等（此工具现在EWP&Beta第三方员工不提供使用）
Beta Club	手机上LOG抓取（modem+IP log）
Horus	PC端可以同步控制AresRT和xDevice。（此工具现在EWP&Beta第三方员工不提供使用）

2. 测试要求

• 测试机摆放要求，参考3.4

• 测试用例

测试项目	数据业务问题
测试目的	通过对比测试，发现数据业务连接异常等问题
预置条件	1）按照回访信息到达测试地点或路线，找到问题小区，找到信号强度相同或相近的点（CELL ID使用AresRT进行查看）； 2）根据回访信息了解到用户手机的开关情况（GPS开关、蓝牙开关等），开启手机后台AP日志选项（beta版本手机需要勾选IP 日志，需要时勾选tcpdump log, TCP日志配置：文件大小选择100M,文件个数选择50个），同时保证与用户后台程序一致或使用应用一致，开始抓取log； 备注：EWP测试商用机器安装beta 俱乐部不能直接抓取tcpdump log，因此测试时正常抓取故障机modem log+ap log，另带一台与故障机版本相同的机器修改配置后抓取tcpdump log。Hisi平台/高通平台手机需要root并修改配置抓取tcpdump log。 3）测试机与对比机内SIM制式及运营商相同； 4）按照回访信息中的持机方式放置手机：左手持机、右手持机、桌面平放等； 5）区分双卡在位还是单卡在位； 6）按照用户投诉的网络制式进行匹配；
测试步骤	1）优先以用户反馈网络制式和主副卡情况为准，根据用户反馈，确定用户上报问题地点信号强度情况，是否为多小区交接点。 2）测试机和对比机要求按照测试要求进行摆放（尽量保证注册到同一小区-如果始终无法驻留到同一个小区，请抓取对应log，并记录当时的小区 ID，信号强度等相关信息） 3）参考用户使用场景，需要和用户确认，手持还是自由空间，若是摆放，尽量精确到摆放的朝向与用户使用场景保持一致。 4）EWPΒ问题需要手动打开网页或手动使用用户出现问题的应用测试； 5）测试过程中，需要在每轮测试网页数量加载到一半的时候交换测试机与对比机的位置，特别关注信号在某个制式上相当稳定时，位置交换带来的加载时长变化。（测试网页加载不出情况时，同时开启其他使用网络的APP进行测试，以排除浏览器问题。） 6）测试时长保证个网页加载20次为一组，间隔8s（静态），15s（动态），30s无法加载完成，工具识别为超时。如果有条件（比如用户配合），建议采集2组数据。 7）使用测试记录表，记录测试过程中发现的问题和时间点等相关信息； 8）测试任务结束后，停止log并导入到便携机中确认测试机和对比机log有效，若log无效，或缺少ap log请重新测试 注：（log保存每轮为一组，一组LOG保存一次，这样避免由于其中一个LOG出现问题而无法分析的情况；若条件满足推荐抓取2组，如果2组的测试结果仍然无法明确表明问题是否复现或者问题的严重程度，可以继续增加，增加仍然以每个网页20次，共计40次网页加载为一组）
检查点	1）同步控制测试机与对比机，让每次加载网页能够保持同步 2）测试完成后导出AresRT的表格或记录详细测试结果，并输出统计结论。

3. 注意事项

1. 若问题必现，则可以减少测试次数，但不能低于每个网页加载10次。

2. 若问题不易复现，可以根据用户配合程度加大测试力度，仍然以共计40次网页加载为一轮测试。

4. Volte特性

1. 特别说明，VoLTE的VT属于数据业务类的问题， VT根据数据业务网页加载操作方法测试，主要在于检查点和注意事项有新增；

2. 检查VT过程中出现掉话时，是否始终在4G网络上（volte状态）。

3. VT的掉话类，参考5.3

4. VT的语音质量类，参考6.3

9. 收发短信类

测试时记录测试的具体时间，精确到秒，且发送或接收前，开启录屏功能，同时记录实际收发短信时间和接收端短信详情里显示的接收和发送时间。每接收或发送一条短信都要单独抓log保存。

10. 网络投诉方法

当测试结果复现，并且开发有最终结论为当地网络环境有问题的，测试人员应投诉当地运营商网络。投诉口吻应以用户口吻投诉。

1）以用户口吻投诉，报具体问题现象，如打不了电话/通话掉话/上不去4G等。此时不说明自己是用户还是终端厂商；

2）要求运营商尽快答复，答复时如果对问题细节有疑问，可以提供专业术语描述，如Cell ID等。此时可以声明自己是终端厂商，但不能说是哪家厂商；

3）投诉时不提供对比信息，如某款机型、某个芯片或者某个友商型号等。避免网络认为是终端问题而不予处理；

11. 遗留问题

请开发提供一线网络侧对应接一线口人，有怀疑是网络问题的，可以对应接口进行联合测试，方便定位最终问题。