图片渲染延迟_深度算法优化 金山云低延迟直播码率再节省12%~17%

　　今年以来，疫情让互动课堂、线上会议、连麦等实时互动的场景迅速升温，数千万、数亿人的同时在线本来对网络就是一场巨大的考验，低延迟直播更对算力和网络提出前所未有的挑战。

　　作为在视频云领域一流的技术服务提供商，金山云不断在低延迟算法上进行探索优化，让码率带宽更加节省。

　　低延迟深度算法优化 带宽压缩12%~17%

　　众所周知，低延迟直播需要具备较为苛刻的限制条件：1.带宽受限且面临弱网压力;2.对延迟的要求高;3.视频画面中变化并不丰富。用户对于编码、分发、渲染的延迟和画质损失的感知越低体验越好，就需要结合着三个客观条件进行针对性的优化。本文主要围绕第三点来讲述金山云低延迟直播的视频编码引擎算法优化。

　　人眼具有视觉掩蔽效应，对于不同平坦度、纹理、运动速度的画面内容，人眼敏感度不同。在损失相同的信息量的条件下，相对平坦或者静止区域的信息损失往往更容易被人眼察觉，而相对的纹理复杂或者更动态区域的画质损失则更易被人忽视。这成为金山云低延迟直播编码器优化的理论依据，有基于此，金山云从编码器上对算法进行了深度的优化。

　　在码率控制层面，很多编码器都会在量化阶段根据图像的复杂度来进行块级别QP(Quant Param,量化参数)值的调整，与它们不同的是，金山云则进一步在像素级进行QP的优化。简单地讲，在变换编码阶段之前根据人眼主观在各像素的最大损失容忍度模型，调整像素残差以减小图像频谱中的高频分量值。优势在于能够精细地保留像素级细节，同时所生成的特征图较为直观且具备可解释性，有利于后续调参，也使得其在编码器层面变得可控。

　　在GOP(Group of Pictures,图片组)层面，由于在同一个GOP序列内的不同帧画面具备不同的level(层级)，level较高的帧会被其它level较低的帧所频繁参考，这就意味着一旦高level的帧画质产生损失，就会造成涟漪效应，使得参考帧产生不同程度的画质损失(如图2所示)，但却不会影响其码率。

　　基于此，金山云将一个GOP内的所有帧的画质损失表示成率失真优化问题，以帧间依赖关系作为中间变量，将帧间依赖系数转化为失真系数，在一定的参数空间内寻找最合理的量化参数，从而保证在一定的码率约束条件下得到最优的编码参数以获得更好的画质。

　　经过在码率控制和GOP层面一系列的编码算法优化后，金山云低延迟视频编码引擎在获得相同主观画质感受的前提下,能够将带宽压缩12%~17%。

　　下一代编解码+集智高清加速低延迟直播体验升级

　　不仅如此，在编解码方面，金山云是业内为数不多的覆盖从编码、转码到解码全链路支持x265的服务厂商。经过五年时间打磨，金山云KSC265产品除了支持手机移动端、PC全机型，还独家支持Web端播放。在码率控制、码率分配、自适应量化上，KSC265可实现30%-50%带宽成本节省。今年4月份，金山云正式上线的直播AI集智高清产品，在同等画质下压缩率最高可达50.65%。

　　此外，金山云投入大量的人力、物力，不断地进行着基于AV1标准的下一代编码器--KAV1的研发。相较于KSC265的基线水平，KAV1能够继续增加10%以上的压缩率，并将于近期发布可商用版本。

　　目前，金山云拥有两个大型转码中心，支持10万路直播转码并发及百万级点播转码并发，可随时开启KSC265和集智高清服务，以完善的转码基础架构和高效率的转码技术，为客户业务提供保障。

　　当然，对于带宽受限、弱网等环境，金山云也提供QUIC、CMAF等技术支撑。金山云拥有遍布全球多个国家的CDN分布节点，是业内较早在CDN节点实现RTMP、 HTTP+FLV、 HLS支持H.265的云服务企业，并全面实现over QUIC推流和拉流的CDN厂商。同时，金山云CDN还支持直播多流择优方案，提供稳定的性能、透明的数据服务体制。

　　未来，随着在低延迟直播编解码技术上的不断提升优化,金山云将致力于为用户打造高品质的直播互动体验，并和业界同仁一起推动视频产业的快速发展。