即构实时语音视频SDK全球测试方法
即构实时语音视频SDK全球测试方法
设置参数
在测试以前,要设置音视频参数:分辨率、码率、和帧率。设置好音视频参数以后,在测试
过程中,参数要保持不变。推荐使用使用下面两组参数分别进行测试。
参数设置 分辨率 帧率 (fps) 码率(kbps)
Profile1 640*360 15 600
Profile2 1280*720 15 1500
即构科技的测试报告的设置条件如下:
测试对象 即构实时语音视频SDK
参数设置 Profile1
测试设备 iPhone6
评估指标
我们使用音视频技术方案的三个关键指标来评估其表现:延迟时间、流畅度、和清晰度。
延迟时间 采用客观的评估方法。以毫秒为单位,测量单向通讯的延迟时间。
1 5
流畅度 采用主观的评估方法,MOS评分法,分数范围为 分至 分。
1 5
清晰度 采用主观的评估方法,MOS评分法,分数范围为 分至 分。
延迟时间比较适合采用客观的评估方法,单位为毫秒,只需要测量单向音视频数据流从推流
端到拉流端所耗费的时间即可。这个方法十分直观,也广为接受。
流畅度和清晰度完全是用户体验的主观反馈,而且不流畅或者不清晰的技术原因有多源性的
特点,无法简单地通过技术指标来衡量。因此流畅度和清晰度比较适合采用主观的评估方法,
这里推荐用MOS 评分法来评估。
MOS (Mean Opinion Score)是一种在通讯工程中用来评估QoE (Quality of Experience)的
方法。它是一个有统计意义的数量样本空间的算术平均值。需要组建一个人数有统计意义的
测试团队,对测试对象的质量根据主观体验进行打分,分数范围为1 分至5 分,1 分最差,
5 分最好。建立打分结果的数量样本空间以后,计算其算数平均值,就可以得到MOS 值。
MOS 作为一种主观的质量评估方法,被广泛的应用于音频、视频、和音视频的质量评估中。
对于MOS 的评分梯度和标准,ITU-T 在P.800.1 中有详细的方法建议。
为了简单和可操作期间,下面采用ACR (Absolute Category Rating)来为MOS 定义评分梯度:
MOS评分 描述
5 Excellent,十分流畅,或者十分清晰
4 Good,十分偶然有卡顿或者花屏,但不影响整体体验。
,偶有卡顿,或者偶有花屏 马赛克,但是还能接受
3 Fair /
2 Poor,卡顿,或者花屏/马赛克出现的频率较多,但是还算可用。
1 Bad,完全卡住,或者画面不可辨,完全不可用。
在测试某个指标表现的时候,请保持其它方面的条件不变。
现网测试
1. 为纯粹测试技术方案的真实表现,而不受其他因素干扰测试效果,因而没有使用专线,
不加任何外部辅助,在公共互联网上进行真实的测试。
2. 测试没有避开互联网使用的高峰时段,有些测试时段和高峰时段重合,从而导致表现数
据相对欠佳,因此本报告采用最优的表现数据来呈现效果。
3. 流畅度和清晰度的评估采用主观的评估方法:MOS评分法,最低1 分,最高5 分。
1. 跨运营商网络测试 (中国)
不同的运营商网络之间是存在带宽瓶颈的。本测试的目的是评估即构实时语音视频通信方案
在跨运营商网络情况下的表现。
跨网组合 延迟时间 (ms) 流畅度 (MOS) 清晰度(MOS)
电信-联通
电信-移动
移动-联通
2. 跨国网络测试 (全球)
在不同的国家之间的进出口光纤是存在带宽瓶颈的。本测试的目的是评估即构实时语音视频
通信方案在跨国跨洋网络情况下的表现。 (下图内容为示意数据)
分辨率/码 流畅度 延迟
用户A 用户B(国外) 国外省市 网络类型