IBC+Palette 实现屏幕内容编码优化

在屏幕内容编码中采用IBC+Palette编码技术可显著提升其压缩效率。本文主要介绍了腾讯屏幕内容编码优化技术探索与实践：加入IBC+Palette编码工具集，并针对屏幕内容优化ME模块等。本文由腾讯音视频实验室视频编码技术负责人，王诗涛在LiveVideoStack线上分享中的演讲内容整理而成。

文 / 王诗涛

整理 / LiveVideoStack

直播回放：

https://www2.tutormeetplus.com/v2/render/playback?mode=playback&token=e632113e78b14a2eb10ee64a0f16bd07

大家好，我是来自腾讯音视频实验室的王诗涛。接下来将与大家分享我们在屏幕内容编码优化与技术落地的探索之路。

1. 屏幕内容编码

 

在开始正式分享之前，首先简单介绍一下屏幕内容编码：屏幕内容图像与传统摄像头采集到的图像存在很大不同，屏幕内容图像是电子设备生成的图像，其直接从各类设备（包括但不限于计算机、移动终端）的图像显示单元捕获；一般情况下屏幕内容图像包括以下几个类型：计算机图形文本、自然图像与图形文本结合的混合图像以及计算机所生成的动画。

 

随着移动设备与智能终端不断渗透人们的生活，屏幕内容图像在我们的生活中也越来越普遍，无论是桌面协作、云游戏，还是第二屏幕、桌面共享、在线教育等领域都有其十分广泛的应用，那么屏幕内容图像与传统的摄像头所采集的图像究竟有什么区别？

 

摄像头采集到的图像在通常情况下都包含传感器的噪声，且色调一般连续并具有十分复杂的纹理；而对于屏幕图像，其通常并不包含噪声。这是因为其中很多都是计算机生成的图像，色调离散而颜色数更少；除此之外，屏幕图像的线条更为细腻，边缘也较为锐利；同时大部分屏幕图像的均匀平坦区域较多，重复图案与相同块也较多。传统视频编码方案更多为摄像头采集的自然视频图像设计，多采用预测+变换的混合编码结构。此混合编码结构对于屏幕内容编码的编码效果欠佳。如上图右侧所示，图中的Word文档为计算机生成的屏幕图像，我们可以从图中清晰看到一些区域的文字变得非常模糊，许多细节信息被丢失，同时表格边缘有非常明显振铃效应。由于屏幕图像相对于自然采集而来的摄像头图像有很大的不同。我们希望利用好屏幕图像的这些特有特征从而大幅度提高其编码效率和图像质量。

2. HEVC-SCC技术