提高屏幕内容图像编码质量的几个方法

一、屏幕内容编码背景

• 屏幕内容图像与传统摄像头采集到的图像有很大不同，屏幕内容图像是电子设备生成的图像，一般包括计算机图形文本、自然图像与图形文本结合的混合图像以及计算机生成的动画。
• 摄像头采集到的图像中通常情况下都包含传感器的噪声，且色调一般连续并且纹理复杂。而屏幕内容图像不包含噪声，色调离散而颜色数少，除此之外，屏幕内容图像的线条更细腻，边缘也较为锐利，同时大部分屏幕内容图像的均匀平坦区域较多，重复图案与相同块也较多。传统的视频编码方案多采用预测+变换的混合编码结构，此编码结构对摄像头采集的自然视频图像的编码效果较好，而对于屏幕内容图像的编码效果欠佳。对于比较细的高频纹理，采用传统混合编码方式编码后会损失细节，且容易产生振铃效应，如下图1所示：
  
  图1 屏幕内容图像采用传统混合编码方式的效果图

由于屏幕内容图像与传统视频具有显著不同的特点，我们需要寻求新的编码工具，充分挖掘屏幕内容图像本身的特征，以此来大幅度提高屏幕图像的编码效率。因此JCTVC就发布了HEVC-SCC编码器，增加了新的编码工具，大大提升了屏幕内容的编码效率。
二、HEVC-SCC关键技术介绍
HEVC-SCC于2016年正式发布，它在HEVC和HEVC-RExt的基础上，增加了新的编码工具，具体如下图2：

图2 HEVC各版本新增编码工具集

从上图可知，HEVC-SCC增加的主要工具有：
帧内块拷贝（Intra Block Copy，简称IBC）：采用当前帧已重建的块作为预测块，可以认为IBC是当前编码图像内的运动补偿；
调色板模式（Palette Mode）：调色板模式会枚举每个编码块的颜色值生成一个颜色表，并为每个样本传递一个索引以指示它属于颜色表中的哪个颜色；解码端根据规则生成一个颜色表并通过颜色表索引完成样本的重建工作。
自适应颜色变换（Adaptive Color Transform：ACT）：将残差自适应转换到不同的颜色空间，一个RGB颜色空间的图像块可以直接编码，也可以在编码时自适应转换到YCoCg颜色空间以进行编码；
自适应运动矢量分辨率（Adaptive Motion Vector Resolution：AMVR）：由于编码过程中屏幕内容图像的运动通常是像素级的，因此我们可以在slice级控制运动矢量MV的精度。
SCC编码工具集能显著提升屏幕内容编码压缩效率，这其中以IBC和Palette模式对压缩效率的提升最为明显。根据相关资料，对于屏幕内容，IBC可提升30%以上的压缩效率，加入Palette模式则可在IBC的基础上再提升15%。接下来对IBC和Palette进行详细介绍。
三、IBC模式
对于文字、图形等屏幕内容序列，同一帧中存在很多重复纹理，如图3所示，图中红色和蓝色所示区域等纹理几乎是一致的，即具有较强的空间相关性。如果在编码当前块时，可以参考当前帧已编码完的块，则能大大提高编码效率。

图3 屏幕图像空间相关性示例
针对屏幕内容图像空间相关性强的特点，屏幕内容编码引入了IBC技术。IBC技术有以下几个特点：
（1）IBC的预测块是当前编码图像帧的重建块，预测方式和帧间预测类似；
（2）IBC是在PU级进行的，可以将它看作一个帧间PU；
（3）帧间模式的设计让IBC和普通的帧间预测模式能更灵活的连接起来，比如，一个帧间编码的CU可以有两个PU，一个使用传统的帧间预测，另一个使用IBC。
IBC和传统帧间预测的区别：
（1）IBC参考的是环路滤波之前的重建像素；
（2）当前图像如果被用于参考，它会被标记为长期参考帧。当整张图像编码完后，进行环路滤波，然后加入到DPB中作为短期参考帧；
（3）IBC的预测块不能和当前CU重叠，以防止未重建好的块被用于预测；
（4）预测块和当前块应该在同一slice或tile中；
（5）预测块的搜索区域要有严格的限制，如下图4灰色区域部分，以免影响并行处理；
（6）IBC的块矢量（Block Vector）必须是整像素精度

图4 IBC搜索区域（灰色部分）
四、Palette模式
调色板模式的思想是利用CU内部的样本只是有少数几种典型的颜色组成的特性进行编码。
调色板模式的特点：
（1）对颜色数较少的编码块会有比较好的效果；
（2）将屏幕内容的颜色组成一个颜色集合，这个集合就是调色板。如图5所示，图中CU有四种颜色，编码时，对每个像素点会从颜色表中找到对应的颜色值并直接完成像素重建；解码时，通过颜色表的索引从颜色表中找到与对应像素点匹配的颜色值完成像素重建；
（3）颜色数较少时，绝大部分像素都可通过颜色表实现重建；如果颜色表中找不到与之匹配的颜色值，调色板模式会增加一个“escape”模式对找不到匹配颜色的像素点专门进行反量化操作以完成像素重建；
（4）采用颜色索引+颜色表的方式，不需要经过变换量化即可实现像素重建。

图5 CU块
IBC和Palette优势：与传统HEVC相比，在比特率相同的情况下提升了图像质量或者说图像质量相同的情况下降低了码率。
缺点：IBC和Palette只支持444格式的视频序列，编码复杂度增加，IBC编码复杂度高于Palette。
五、字典编码技术
字典编码（dictionary encoding）技术的思想是数据本身包含有重复代码这个特性。例如文本文件和光栅图像就具有这种特性。字典编码技术是一种无损压缩技术。字典编码方法共有两类。
第一类字典编码的算法是查找正在压缩的字符序列是否在以前输入的数据中出现过，然后用已经出现过的字符串代替当前字符序列中重复的部分，它的输出仅仅是指向早期出现过的字符串的“指针”。这里所指的“字典”是指用以前处理过的数据来表示编码过程中遇到的重复部分。这种编码概念如图6所示：

图6 第一类字典编码概念
第二类字典编码的算法是从输入的数据中创建一个“短语词典”，这种短语是任意字符的组合。编码过程中当遇到已经在词典中出现的“短语”时，编码器就输出这个词典中的短语的“索引号”。这个概念如图7所示：

图7 第二类字典编码概念
字典编码已经有人申请了专利，与H264标准兼容，专利名为一种与H264标准兼容的屏幕内容编码解码方法，这个方法提高了压缩率，但不确定提高了多少压缩率。
字典编码的优势：一种无损压缩的编码方法，可以提高压缩率和编码质量，复杂度没有增加。
缺点：只能对文本区域进行压缩。
字典编码技术和palette模式相似，但是字典编码技术没有进标准，说明编码效果可能没有palette好。

六、AVS2-SMCC标准中的通用串预测技术
1、通用串预测技术介绍
在AVS2-SMCC标准中，提出了对不同屏幕内容特性的区域自适应地采用一般串模式、第一受限串模式和第二受限串模式这三种CU层次的受限串模式之一对一个CU进行编解码的通用串预测（Universal String Prediction，USP）技术。一般串也称为一般受限串。
图8给出了USP技术框架示意图。通过对屏幕图像特征的挖掘，发现不同内容特征的屏幕图像区域在采用SM（String Matching）技术编码时，SM的属性体现出不同的特点。受限串模式是指对SM属性的取值通过约束条件进行取值范围限制的串模式。各种受限串模式因其SM属性的取值范围进行了限制，因此可以进行串匹配搜索与串匹配参数熵编码等方面的优化。不同内容特征的屏幕图像区域自适应地采用不同的受限串模式，从而达到编码效率与复杂度的最佳平衡。

图8 USP技术框架图
2、AVS2标准中的USP编解码框架
融合通用串预测技术的AVS2-SMCC编解码系统架构见图9所示。
编码器端分为通用串预测子系统与基于块匹配的传统混合编码子系统。对于输入CU O，通用串预测编码器分别进行GS模式、CS1模式、CS2模式的编码，然后进行基于RDCost选择器的选择，选择最小RDcost的受限串模式进行编码形成位流b1并获得重建CU P1；与此同时，AVS2基准档次中传统帧内与帧间模式选择出最优的模式，对其进行编码形成位流b2并获得重建CU P2。两者经过RDcost比较，最终选择其中的一种模式为最优的模式，输出至位流中。在AVS2-SMCC的实现中，采用USP编码的一个CU中用于坐标串的图像坐标的个数小于32。由于对于屏幕内容中含有摄像机摄取的传统图像内容的CU，4:2:0采样格式的编码效率远高于444格，为了保持4:2:0采样的这一传统优势，在AVS2-SMCC的实现中，采用帧内编码模式的CU可以选用4:2:0采样格式进行帧内预测，变换，量化，反量化，反变换，也可以选用4:4:4采样格式进行帧内预测，变换，量化，反量化，反变换。

图9 融合通用串预测技术的AVS2-SMCC编解码系统架构
3、通用串预测技术的编码性能
采用的测试数据集来自AVS2-SMCC通用测试条件中的通用测试序列。使用13个YUV 4:4:4采样格式，每个分量为8比特的测试序列。图10给出了四个AVS2-SMCC标准测试数据集中典型测试序列的第一帧图像内容显示结果。

图10 四个典型AVS2-SMCC标准测试序列第一帧图像内容显示
表1给出了AI配置下USP技术（在AVS2的参考软件RD19.2基础上集成的USP技术）与基于HM16.7的HEVC-SCC的参考软件SCM6.0的编码效率比较结果。编码参数配置采用AVS2-SMCC和HEVC-SCC通用测试条件中的标准配置。采用有损编码模式。编码效率除了采用HEVC核心实验中用于比较两种技术有损编码模式编码效率优劣的客观评价方法——Y、U、V分量的BD-rate降低率来衡量，还采用了CPSNR——一种综合的PSNR的衡量方法。图11给出了图10中的序列第一帧图像使用四种算法进行AI配置编码的RD曲线图。四种算法分别是GS+CS1+CS2_OFF（关闭USP模式）、GS _ON（仅仅打开GS子模式）、GS+CS1 _ON（打开GS子模式和CS1模式）、GS+CS1+CS2_ON（打开USP模式）。
表1 USP与SCM6.0(anchor)编码效率比较结果

图11 四个典型AVS2-SMCC标准测试序列第一帧图像AI配置Y分量RD曲线

4、通用串预测技术的优缺点
优点：
1）高效性：通用串预测技术对不同内容特征的屏幕图像区域自适应地采用不同的受限串模式，能够对各种各样的屏幕图像序列进行有效编码，从而适应屏幕图像的多样性。
2）灵活性：通过对各种SM属性进行各种约束条件的限制衍生出各种新的受限SM模式，并且采用由不同受限串模式组成的USP技术的实例来编码，从而灵活地满足不同屏幕图像应用场景的编码性能的需求。USP技术中不同受限串模式对不同内容特性的屏幕图像序列作用不同，体现出不可替代的作用。
3）统一性：通用串预测技术的各种受限串模式统一采用串预测方式进行编解码，具有统一的串预测编解码操作、语法元素和编解码框架。
缺点：
1）USP技术性能的提升程度与屏幕图像类别相关，比HEVC-SCC中的编码工具少得多，部分序列的编码效率有待提升。
2）USP技术的编解码复杂度比HEVC-SCC较高
七、基于整帧模板匹配的编码方法
针对屏幕图像中往往包含较多的相同或相似文字和图形的特点，研究人员提出采用模板匹配的方法来降低屏幕内容中这种非局部相关的信息冗余.模板匹配方法是在H.264 / AVC广泛应用的一种帧内预测技术，其基本思想是利用待编码像素块的某个邻域的已编码像素集合构成一个模板，然后利用该模板在已编码的区域中搜索与待编码块最相似的1个或多个块，最后用最佳匹配块或多个相似块的均值作为待编码块的预测.整帧模板匹配方法是以单个像素为模板匹配单位，针对相似性很强的屏幕内容图像，可以在绝大部分像素点上取得残差为0的模板匹配预测结果。此方法并不在码流中记录最佳匹配位置，而是通过编解码器使用同样的数据集合和同样的方法寻找最佳匹配模板的位置，从而不需要在码流中存储位置信息，节省了码流。
编码性能：与HM12-RExt4.1相比，有2倍左右的压缩比提升，同时编码时间也减少。
优势：无损压缩
这个方法没有和HEVC-SCC的编码性能相比，不能确定和现在的标准相比编码效果到底如何。