第八周工作进展报告 Video Compression for Object Detection Algorithms

最新推荐文章于 2021-01-25 20:23:26 发布

三金samkam

最新推荐文章于 2021-01-25 20:23:26 发布

阅读量181

点赞数

分类专栏：论文阅读

本文链接：https://blog.csdn.net/qq_39715243/article/details/109716415

版权

计算机视觉人工智能深度学习视频编解码算法

论文阅读专栏收录该内容

50 篇文章 18 订阅

订阅专栏

第八周工作进展报告

本周主要对视频中的内容感知部分如何与编码结合达到码率控制的效果进行研究。其包括在传统编码器前对图像进行预处理的方法以及干预编码器的量化参数的方法。

对于传统编码器（例如：H.264）前预先对视频图像做基于内容感知的压缩的方法，在“Content Aware Video Compression: An Approach To VOS Algorithm”一文有所体现，文中提出一种基于内容感知（content-aware）的视频压缩方法，在不降低视频质量的情况下，减小视频大小。文章提出视频中的背景通常不改变位置，而前景改变位置，可以通过运动估计确定了帧中对象的位移，仅对一个物体相对于两一个物体的位移进行编码。而运动估计是跟踪连续帧之间的微小变化，以减少帧间冗余的过程。在压缩一个视频的整个帧之后，新的视频作为输入被提供给H.264编码器。H.264编码器使用帧间编码并压缩整个视频，因此合成的视频以压缩形式存储在有限的存储空间中。

算法实现流程：1）读取视频帧，并将其转换为单独的帧；2）将RGB图像转换为灰度图像；3）设置阈值将其转换为二进制图像；4）在二进制视频图像的帮助下，提取前景对象，并通过使用滤波器模糊背景来减去背景，获得自适应背景；5）将新的分割视频传入H.264编码器，最终得到压缩视频。

实验中，作者自己拍摄了12秒的视频，大小为11.7M，经过压缩后，视频大小约为8.61M。文章创新点是利用图像分割分离背景和前景，并对背景进行压缩处理，实现减少帧间冗余。

除了在传入视频编码器前做处理的方法外，还有根据视频内容调整视频编码时的QP值，以达到能在高复杂度场景中分配更高码率，在低复杂度场景中分配更高码率的方法。对QP值而言，它是传统编码器中量化过程中的一个量化参数，QP量化参数，反映了空间细节压缩情况，如QP小，大部分的细节都会被保留；QP增大，一些细节丢失，码率降低，但图像失真加强和质量下降。也就是说，QP和比特率成反比的关系，而且随着视频源复杂度的提高，这种反比关系会更明显。现有的码率控制算法主要是通过调整离散余弦变换的量化参数大小输出目标码率。

在“Video Compression for Object Detection Algorithms”一文中，提出一种基于计算机视觉系统的自适应视频编码方法。如图1所示，此方法考虑到了①目标显著性图，②运动图，③视觉显著性图，④QPMAP，并将它们结合得到预测的二进制映射图。其中，运动图和显著性图用于衡量场景中物体在视觉上的明显程度，QPMAP考虑了视觉特征，例如，纹理等。

图1 方法实现流程

其中，QPMAP是QP表，该码控模式下，码控的策略由用户决定，且一帧编码图像以 16x16 块为单位，每一个 16x16 块的QP 值，采用用户设定的相应块的QP值。所有这些块的QP值组成QP表，该表中 QP 值的组织方式如图2所示。

图2 QP值的组织方式

文章还提出了一种学习映射的方法，该映射向编解码器指示帧的那些部分与计算机视觉算法相关，结合了语义，保持了人类观众的感知质量。学习的二进制映射预测为不相关的帧块以最低质量被量化，相关的帧块以高质量被量化。此文章的创新点是，在不更改编码器的前提下，结合视觉显著性图、目标检测以及QP图进行码率控制，达到相同观感质量的情况下，传输及计算成本降低。

而在“基于感兴趣区域的360°全景视频编码”一文中，提出一种基于ROI的360°全景视频编码算法。该算法利用当前帧编码残差信息求取ROI并指导下一帧编码；利用球面到等矩形投影面的映射函数求出各纬度处像素的冗余程度，将其作为非ROI量化参数的调节因子，并与ROI量化参数调节因子共同决定每帧画面最大编码单元级别的编码参数设置。

ROI图像的获得：首先求取一帧原始图像的灰度图与其经过HM平台编码后得到的灰度图的残差图像，考虑到高效率视频编码（HEVC）是以64pixel×64pixel的最大编码单元（LCU）为单位对视频编码，所以将Rgray以64pixel×64pixel大小进行分块。若，则标记该块为ROI块，其中表示中第ｎ块的均值，ω为预先设定的阈值。遍历所有块后得到整幅图像的ROI块。