用AI打破编解码器内卷，高通最新几篇顶会论文脑洞有点大

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

用AI搞视频编解码器，现在路子有点“野”。

插帧、过拟合、语义感知、GAN……你想过这些“脑洞”或AI算法，也能被用到编解码器上面吗？

例如，原本的算法每帧压缩到16.4KB后，树林开始变得无比模糊：

但在用上GAN后，不仅画面更清晰，每帧图像还更小了，只需要14.5KB就能搞定！

又例如，用插帧的思路结合神经编解码器，能让最新压缩算法效果更好……

这一系列算法的思路，背后究竟是什么原理，用AI搞编解码器，潜力究竟有多大？

我们采访了高通工程技术副总裁、高通AI研究方向负责人侯纪磊博士，了解了高通一些AI编解码器中的算法细节和原理。

编解码器标准逐渐“内卷”

当然，在了解AI算法的原理之前，需要先了解视频到底是怎么压缩的。

如果不压缩，1秒30帧、8bit单通道色深的480p视频，每秒就要传输80+Mbps数据，想在网上实时看高清视频的话，几乎是不可能的事情。

目前，主要有色度子采样、帧内预测（空间冗余）和帧间预测（时间冗余）几个维度的压缩方法。

色度子采样，主要是基于我们眼睛对亮度比对颜色更敏感的原理，压缩图像的色彩数据，但视觉上仍然能保持与原图接近的效果。