TIP 2018论文概述：基于深度学习的HEVC复杂度优化-CSDN博客

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/81212452

本文概述了2018年IEEE TIP期刊论文《基于深度学习的HEVC复杂度优化》。该论文提出了一种深度学习方法，能够在保持编码效率的同时显著降低HEVC的复杂度。研究主要针对HEVC编码过程中四叉树结构的编码单元分割搜索，通过深度学习预测CU分割以减少不必要的率失真代价检查。方法包括基于CNN的帧内模式和结合CNN与LSTM的帧间模式预测，以学习视频内容的空间和时间相关性。实验结果显示，这种方法在率失真性能损失较小的情况下，显著减少了编码时间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

640

作者丨徐迈、李天一等

学校丨北京航空航天大学博士生

研究方向丨视频编码与深度学习

本文概述了 2018 年 6 月发表在 IEEE TIP 期刊的论文 Reducing Complexity of HEVC : A Deep Learning Approach。在此论文中，北京航空航天大学博士研究生李天一及其导师徐迈，提出了一种基于深度学习的视频编码复杂度优化方法，实现了在几乎不影响编码效率的前提下，显著降低高效率视频编码（High Efficiency Video Coding，HEVC）的复杂度。

■ 论文 | Reducing Complexity of HEVC: A Deep Learning Approach

■ 链接 | https://www.paperweekly.site/papers/2140

■ 源码 | https://github.com/HEVC-Projects/CPH

背景

与前一代 H.264/高级视频编码（Advanced Video Coding，AVC）标准相比，HEVC 标准能够在相同视频质量下，节省大约 50% 的比特率。这得益于一些先进的视频编码技术，例如基于四叉树结构的编码单元（coding unit，CU）分割结构。然而这些技术也带来了相当高的复杂度。与 H.264/AVC 相比，HEVC 的编码时间平均增加约 253%，较高的复杂度就限制了该标准的实际应用。因此，有必要在率失真（rate-distortion，RD）性能几乎不受影响的前提下，显著降低 HEVC 编码复杂度。

从 2013 年 HEVC 正式发布开始，学界已经在降低编码复杂度方向进行了广泛的研究。目前已经存在多种降低 HEVC 编码复杂度的方法。就编码过程而言，基于四叉树的递归 CU 分割搜索，占据绝大部分编码时间（在标准参考软件 HM 中用时超过80%），因此很多方法都通过简化 CU 分割来降低 HEVC 编码复杂度。

HEVC 中的 CU 分割结构如图 1 所示。在标准编码器中，CU 分割是一种递归的搜索，从最基本的 64×64 编码树单元（Coding Tree Unit，CTU）开始，一个 CTU 可以只包含一个 CU，也可以被分成四个子 CU；每个子 CU 又可以选择是否被分成四个更细的子 CU，以此类推，直到 CU 被分成最小尺寸 8×8 为止。

可见，从最大 64×64 到最小 8×8，多种可能的 CU 尺寸为 HEVC 标准提供了十分灵活的块分割方式，使编码器可以从中选出一种率失真代价最小的 CU 分割方案，作为实际编码结果。

与 H.264 相比，可选择的分割方案数增多，就更有希望找出率失真代价尽可能小的方案，这就是 HEVC 编码效率较高的一个重要原因。然而，有利往往也有弊，更多种 CU 分割方案，就意味着编码器需要花费更多时间，检查每种方案的率失真代价。

这是一个分层递归的过程，编码器需要对总共 85 个 CU（包括 64 个 8×8 的 CU，16 个 16×16 的 CU，4 个 32×32 的 CU 和 1 个 64×64 CU）编码，以检查每个 CU 的率失真代价。相比之下，在最终编码结果中，只会存在最少 1 个、最多 64 个 CU，因此如果能提前预测出合理的 CU 分割结果，即可直接对所选的 CU 进行编码，跳过不必要的率失真代价检查过程。

640

▲ 图1. HEVC中CU分割结构

早期的 CU 分割预测方法大多为启发式的，根据编码中的一些特征（如图像内容复杂度、率失真代价、运动矢量信息等）和人为制定的决策规则，在进行递归搜索之前，提前决定 CU 分割。2015 年以后，利用机器学习预测 CU 分割的一些方法被陆续提出，例如用支持向量机的自动学习，弥补了先前方法中需要人为制定决策规则的缺点。

然而，上述方法中的特征都需要手动提取，这在一定程度上依赖于研究者的先验知识，难以确定选取的特征是否为最优，并且容易忽略一些隐含但有用的特征。为实现特征自动提取，另有文献通过搭建简易的卷积神经网络（convolutional neural network，CNN）结构决定 CU 分割，初步实现了利用深度学习思想降低 HEVC 复杂度。

尽管相关研究已经取得诸多成果，在本文方法提出之前，已有文献中的网络结构还比较浅，难以充分发挥深度学习的优势，并且，先前基于 CNN 的方法都只适用于帧内模式，对于实际应用更广泛的帧间模式则无能为力。

在设计算法之前，作者首先直观地分析 CU 分割结果，如图 2 所示，帧内模式的 CU 结果主要由 CTU 中的图像内容决定，一般纹理越密集之处，CU 分割也越密集，反之亦反。当然 CU 分割不仅仅取决于纹理的细密程度，若一个 CU 中纹理比较密集，但恰好可以通过相邻 CU 信息来准确预测，那么此 CU 也有可能不被分割。

无论如何，CU 分割结果和图像内容紧密相关，因此在帧内模式中，本文首先提出一种与 CU 分割相适应的 CNN 结构，通过图像内容自动提取特征，来学习 CU 分割结果。