萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
用AI搞视频编解码器,现在路子有点“野”。
插帧、过拟合、语义感知、GAN……你想过这些“脑洞”或AI算法,也能被用到编解码器上面吗?
例如,原本的算法每帧压缩到16.4KB后,树林开始变得无比模糊:
但在用上GAN后,不仅画面更清晰,每帧图像还更小了,只需要14.5KB就能搞定!
又例如,用插帧的思路结合神经编解码器,能让最新压缩算法效果更好……
这一系列算法的思路,背后究竟是什么原理,用AI搞编解码器,潜力究竟有多大?
我们采访了高通工程技术副总裁、高通AI研究方向负责人侯纪磊博士,了解了高通一些AI编解码器中的算法细节和原理。
编解码器标准逐渐“内卷”
当然,在了解AI算法的原理之前,需要先了解视频到底是怎么压缩的。
如果不压缩,1秒30帧、8bit单通道色深的480p视频,每秒就要传输80+Mbps数据,想在网上实时看高清视频的话,几乎是不可能的事情。
目前,主要有色度子采样、帧内预测(空间冗余)和帧间预测(时间冗余)几个维度的压缩方法。
色度子采样,主要是基于我们眼睛对亮度比对颜色更敏感的原理,压缩图像的色彩数据,但视觉上仍然能保持与原图接近的效果。