弱网环境下编解码技术初识

1、视频质量评价

清晰度：人的主观感觉，一般直接用分辨率衡量，视频听话中主要影响因素是编码分辨率及编码压缩质量

流畅度：场景连续性，帧率低会感觉到卡顿

延时：一般由采集渲染、网络传输、缓冲jitter buffer以及编解码延时组成，超过150毫秒就被察觉

2、弱网环境

网络好的情况，编解码器采用硬件减少延时和CPU开销

弱网环境导致丢包，需要向前纠错FEC、丢包重传ARQ等手段对抗，会牺牲一定的时延和带宽。

向前纠错FEC：通过数据包冗余发送机制，比如接收11个包中的任意10个，可以恢复另一个。

丢包重传ARQ：请求重发

网络延时高，要尽量减少重传，优先选择FEC；网络延时不高，但大量丢包的情况选择ARQ。

3、编解码技术提升弱网下视频质量

• 自适应GOP结构

一组图像，以I帧开头，固定间隔。用户出现丢包，需等下一个I帧到来才能解码，中间P帧无法单独解码。

动态GOP，当出现丢包或新用户接入，主动申请I帧。

• 动态编码参数设定

设定一个质量可控的QP范围，基于实时统计的码率以及QP情况动态调整帧率和分辨率。

• 智能软硬编码切换

高分辨率下CPU消耗问题突出，优先使用硬件编码；弱网情况下，需要降低编码分辨率，这是更高的编码压缩效率能够尽可能保证用户体验，因此会优先使用压缩效率更高的软件编码器。

• SVC编码技术

伸缩视频编解码，可采用分层视频编解码，一般分三种类型：时域分层、空域分层、质量分层。

网络存在拥塞问题，通过自适应的丢曾减少拥塞带来的卡顿。

• 智能参考帧

1）通过保存更多的候选参考帧，让参考关系更加灵活

2）编码器通过解码器反馈排除掉一些失败的参考帧