针对复杂的视频业务场景,快手音视频技术团队致力于将“定制化”的算法决策变成通用环节,使每个视频都能获得最优的处理和编码方式。在编解码领域,CAE的概念提出和理论研究已经有一段时间,一些视频平台也有相关方向的应用。而快手将“处理”(Processing)加入到“内容自适应”(Content Aware)的环路中来,形成了CAPE的整体优化理论,从视频处理与编码的完整通路全局优化视频体验。
对于快手而言,平台上视频类型繁杂,其最大的难点就在于如何衡量质量,及如何寻找到一个质量“足够好”的工作区间。CAPE(Content Awareness Processing & Encoding),即根据视频内容调整处理和编码方式。具体而言,通过对内容理解和分析,选择及调整一系列的算子(operator,简称OP),在视频的码率或多个视频的总码率一定的情况下,提升整体质量。如果用更为形象的比喻,我们可将质量视为“标靶”,码率作为“弹药”,将“子弹”尽可能射击在“标靶”上。那么,CAPE的目标就是:将码率更有效地分配到用户能够感知的维度,优化投入产出比。
对内容的理解和分析,即提取视频内容的可量化特征后,输出OP选取和配置的“菜谱”。这些特征可以包含基础特征,如块效应程度、模糊程度和噪声程度等;也可以包含抽象特征,如时域运动复杂度和空域纹理复杂度等;还可以是视频的一些