监控视频压缩5—A FAST BACKGROUND MODEL BASED SURVEILLANCE VIDEO CODING IN HEVC

监控视频不同于网络视频等，其特殊性为背景区域一般不变(固定相机拍摄)，或者变化很有规律（移动相机拍摄）。本系列记录针对监控视频的视频压缩各类方法。

论文：

《A FAST BACKGROUND MODEL BASED SURVEILLANCE VIDEO CODING IN HEVC》

原文链接：

A fast background model based surveillance video coding in HEVC | IEEE Conference Publication | IEEE Xplore

速看创新点:

1, 论文4将编码单元拆分为2类，论文5将编码单元拆分为3类：背景编码单元BCU、前景编码单元FCU、混合编码单元MCU
2, CU模式决策：对于BCU和FCU直接移除帧内模式、AMP模式、拆分终止
3, PU参考帧决策：按照公式4和图6缩小PU参考帧的选择范围。

目录：

摘要

1. 简介

2. 提出的背景建模快速算法

A. 背景生成

B. CU分类

C. CU模式决策自适应early termination

D. 自适应参考帧选择

3. 完整算法

4. 实验

---

摘要

1. 简介

相同视频质量下，HEVC相比H.264可以节省40%左右码流。主要原因是HEVC的帧间预测复杂度增加了60%~70%左右的编码时长。监控视频数据量巨大，减少编码复杂度就很重要。本文提出了一种基于背景模型的快速算法来加速监控视频的搜索过程。本文分析了不同块切分的比例和多种类型块的参考帧，将分析结果用于设计最优模式选择和参考帧选择框架。实验结果表明可以减少41%编码时长。

近年来提出了许多快速编码算法来减小编码器的复杂度。[4-5]提出了一种快速多帧选择方法来减少不必要的参考帧搜索和模式，通过使用一般视频序列的领域块信息。[6] 提出了一种利用运动估计信息ME的高效帧间预测模式决策方法，减少51.76% ME复杂度，但是ME仅仅做了不到70%。后续的一些工作通过early termination机制专注于加速模式选择过程。本文中，将编码单元CU分为FCUs(前景编码单元) ，BCUs（背景编码单元）,MCUs(混合编码单元)， 之后一些预测模式可以直接移除，用于不同类型CU和PU的参考帧也会减少。本文提出的方法可以直接移除不必要的编码时间同时编码性能保持。本文的快速算法应用了论文[10]的背景模型。

文章后续安排如下：第二节介绍基于背景模型的整体分析和快速模式选择算法。整体结构在第三节介绍，第四节是模拟实验结果。

2. 提出的背景建模快速算法

A. 背景生成

论文[10]中，通过使用简单的背景模型过程和周期性的更新来构建背景帧，同时背景帧的编码不会进行目标检测、跟踪和分割。基于均值偏移算法设计了一个非参数的背景建模方法，通过该背景建模方法生成背景参考帧同时也作为长期参考帧来辅助预测。背景建模方法相比于基于目标的方法或者背景预测的方法能更好的减少复杂度或者更好的编码性能。

B. CU分类

本文方法将CU分为三类：FCUs\BCUs\MCUs，分类条件是看是否属于背景和前景目标，如图2所示

 根据参考论文10，每个像素在阈值t=5以上任务是前景，否则认为是背景，

 确定了每个像素属于前背景后，对CU进行分类，具体公式如下

阈值选择1/16，当某CU中属于前景的像素数占CU总像素少于1/16时，认为该CU为背景-BCU；当某CU中属于前景的像素数占CU总像素大于15/16时，认为该CU为前景-FCU。其他情形都为MCU。

HEVC标准中所有的帧间预测模式和参考帧都会被搜索寻找最小的RD损失函数，这样会有最高的编码效率但同时计算复杂度会很大。

C. CU模式决策自适应early termination

在HEVC中，一帧图像会被拆分为多个最大编码单元LCUs,LCU可以被进一步拆分为CU，它们的大小在64x64到8x8之间，通过根据RD损失函数进行递归的拆分，预测单元PU是处理帧间预测的基本单元，其大小根据对应的CU大小和选择的拆分模式决定，如图4，帧间PU有8种拆分模式，第二行也成为AMP模式（非对称运动拆分模式）。

 很容易理解，较大的PU更适合同质区域，实验结果表明小的拆分大小比如帧内模式和AMP模式仅仅只有BCU或者FCU很少一部分，表1是帧内模式和AMP模式在不同视频上的拆分比例。

因此，这帧内模式和AMP两个模式可以直接移除减少计算量。此外，如果CU是FCU或者BCU，CU拆分可以终止因为可以从参考帧很容易获取该图像区域，CU编码候选模式可以通过下面公式表示：

 上面公式的倒三角表示所有的CU模式集合。

一般的监控视频的模式，运动和纹理特征一般都不在背景区域。如图5的BCU,所以可以使用空时CU模式关系来进一步减少压缩的计算量。如果时序分配的CU和同帧邻域CU都是skip模式，那么当前BCU只能是skip模式和2Nx2N模式。（图5中的灰块如果都是skip模式，那么黑块只能是skip和2Nx2N）

表2中，上面的讨论都经过实验验证。

 

D. 自适应参考帧选择

可以通过多个参考帧时序预测来编码一帧，参考帧被分为2个参考列并提前排序好。参考帧序号指队列中的参考帧可以用于预测信号。不过，队列中的每一帧重要性不同，随着参考帧队列的增长比特也会增长。尽管HEVC中有最大参考帧数量的要求，多数情形下FCU和BCU只选择很少的参考帧。根据我们的实验结论，BG帧作为FPU（前景拆分单元）最后一个参考帧的概率平均是0.05，选择第一个参考帧和BG帧作为BPU（背景参考帧）的最优参考帧的概率是0.87。因此，只有第一个参考帧和BG帧会被用于BPU, 参考帧序列的其他帧会被用于FPU【时序相关性】。参考帧选择可以用如下公式：

其中refbg表示最后一个参考序号的背景帧，ref0 ref1...refn是参考帧序列中的其他帧不包括refbg。

监控视频中前景编码单元比例一般要小得多，因此复杂度会显著下降。此外，图像一般有大量的背景区域，因此邻域CU之间相关性很高，背景PU中，可以使用邻域的PU模式来决策当前PU的模式。如果所有的邻域PU，包括左、上、左上、右上和左下的PU都有一样的参考帧index时，当前PU的参考帧队列可以只包含邻域的参考帧【空间相关性】。当前PU和邻域PU的空间关系如表6

表3看出 用于当前PU和邻域PU参考帧一致的比例平均高达85%，该值通过QP分别取27,32,38和45平均计算得到。

 

3. 完整算法

本文提出的快速算法是在背景帧生成并且重建为参考帧之后。框架如图7所示，CU整体算法的细节如下：

1）进行公式1和2

2）如果当前CU是BCU，并且像图5中所有对应的CU都是skip模式，该BCU只能选择skip和2Nx2N模式；然后进行公式3

3）如果是BPU并且所有邻域PU的参考帧序列（如表6所示）都是相同的，那么该邻域参考帧被选择，然后进行公式4

4）进行剩下的帧间预测和帧内预测步骤，获取最优的RD损失函数。

5）通过最小的RD损失函数决定最优的预测模式。

4. 实验

实验结果表明本文提出的快速模式决策方法可以节省大约42%的编码时间，在低延时P配置下。

此外本文还对比了原始的背景建模方法和本文提出的快速方法的编码复杂度时间。