针对真实世界中存在的码流损坏视频的恢复这一挑战性的问题，本文构建了第一个大规模基准数据集BSCV。BSCV提供了一个码流损坏模型、一个视频数据集、以及一个即插即用视频恢复模块BSCVR。码流损坏模型能够通过指定参数组合灵活生成数据集的不同分支。首个大规模码流损坏视频准数据集及恢复方法

论文:https://arxiv.org/abs/2309.13890

数据集:https://github.com/LIUTIGHE/BSCV-Dataset

摘要

视频恢复（video restoration）技术如video inpainting、completion、error concealment虽已取得巨大进展，然而，它们通常通过手工设计或按规则合成的错误掩模来模拟视频缺失的内容，因此无法填补视频通信（如远程会议、实时流媒体）和多媒体取证中的码流损坏导致的视频内容损坏。为了解决真实世界码流损坏引发的视频损坏的修复问题，新加坡南洋理工大学、香港理工大学研究团队，首次提出针对码流损坏视频（bitstream-corrupted video, BSCV）的基准数据集及恢复方法。BSCV具有超过28000个视频片段的基准数据集，可用于在现实世界中进行码流损坏视频的恢复算法研究。BSCV提供了：1）一个视频码流的三参数损坏模型， 2）包含丰富错误样式、多个损坏级别和灵活数据集分支的大规模数据集， 3）可作为基准的视频恢复方法框架。

BSCV-Dataset_码流

问题定义：BSCV数据集包含了各种真实的损坏样式，包括但不限于（1）块伪影，（2）颜色伪影，（3）重复伪影（4）错位，（5）纹理丢失，（6）拖尾伪影，这更接近于现实世界中损坏的视频。

背景

由于不可靠信道及存储介质的物理损坏，视频在压缩、存储和传输链中发生码流损坏是一个普遍且关键的问题。因此，真实码流损坏视频数据集以及相应视频恢复方法必要且迫切。目前为止，尚无专门用于视频恢复的大规模码流损坏数据集。在视频的预测编码利用帧之间的相似性、相关性，因此帧之间依赖关系，使得视频错误的传播往往是不规则且难以预测的。

数据集构建：码流损坏模型

根据bitmovin报告，在2022年，H.264仍是最流行的视频编解码器，85%的视频开发者倾向使用。因此所提出数据集视频主要由H.264编解码器生成视频码流文件，并易于扩展到H.265、 H.266等其他编码标准。本文提出了一个码流损坏参数化模型(P, L, S)，其中损坏的片段由帧损坏概率P、损坏位置L和片段大小S定义。在video inpainting中最常用的数据集YouTube-VOS 和DAVIS，本文通过此损坏模型，构建了一个码流损坏视频（BSCV）数据集，视频帧可以在视觉层面上被随机损坏。另外BSCV也提供了H.265和更多分辨率子集以验证方法的通用性。

BSCV-Dataset_数据集_02

左图：码流域数据统计及所提出的三参数损坏模型。右图：帧间依赖性及帧域中的错误传播。

构建的数据集和提出的三参数损坏模型，可以在数据集定制和应用场景方面提供灵活性和可扩展性。通过设置不同的参数组合，可以灵活构建定制的数据集以满足特定的应用场景。

BSCV-Dataset_码流_03

在YouTube VOS和DAVIS视频上采用不同损坏参数组合下的损坏率分布统计及生成的BSCV数据集分支。   

恢复方法：BSCVR

本文提出了一种新的码流损坏视频的修复框架（bitstream-corrupted video recovery: BSCVR），概述如图所示。针对码流损坏视频的解码特征，该框架启用了更多的感知通道来全面理解损坏视频的上下文信息。BSCVR首先将视频进行分区域编码，分别提取1）视频未损坏内容的特征作为基本局部特征，2）损坏内容中残余信息的特征。进而，在特征补全（feature completion）模块中通过多种注意力机制将潜在有用的残余信息编入局部特征实现隐空间中的特征补全，补全的特征在表征能力上相比初始的局部特征有很大的增强。进而在视频光流的引导下，特征传播模块可以进行有效的参考信息传播来提高视频上下文内容的利用效率。继而，来自多个视频时间点采样得到的非局部参考特征和传播后的局部特征将作为联合参考输入到内容生成模块，从而产生最终的修复内容。

BSCV-Dataset_码流_04

所提出的第一个码流损坏视频恢复BSCVR框架

实验：超SOTA

实验采用(P, L, S) = (1/16, 0.4, 4096)损坏参数下创建的BSCV数据集分支进行实验，并与最先进的video inpainting视频恢复方法进行比较。定性和定量评估结果证明了BSCVR方法在视频恢复中的优越性，且证明了BSCVR可作为即插即用的模块嵌入流行的video inpainting框架中，帮助此类方法取得进一步性能提升。

BSCV-Dataset_码流_05

定量实验结果

BSCV-Dataset_码流_06

定性实验结果

结论

针对真实世界中存在的码流损坏视频的恢复这一挑战性的问题， 本文构建了第一个大规模基准数据集BSCV。BSCV提供了一个码流损坏模型、一个对损坏码流解码得到的视频数据集、以及一个针对性的视频恢复框架BSCVR。码流损坏模型能够通过指定参数组合灵活生成数据集的不同分支。当前数据集包含从损坏码流解码的28000个真实视频片段，包含了丰富的、不可预测的视频错误样式和损坏程度。BSCVR提供了一个有效的高质量视频恢复框架。实验证明，BSCVR在定量和定性上均优于SOTA的video inpainting方法。数据集构建的灵活性以及BSCVR框架的可靠性也在各种数据集分支上得到验证。该基准数据集有望为多媒体取证、流媒体、视频通信等应用做出贡献。