CVPR 2024 Workshop | 首届短视频质量评价学术竞赛已启动+大型数据集KVQ

关注公众号，发现CV技术之美

CVPR NTIRE Workshop是计算机视觉领域极具影响力的国际学术研讨会之一，通常涵盖增强、修复、质量评价等底层视觉比赛内容，对于视觉信号处理领域的发展发挥着重要的作用。为推动短视频领域的发展，建立短视频的质量评价标杆，智能媒体计算实验室（中国科学技术大学）联合快手音视频技术部（快手科技有限公司）在第九届NTIRE研讨会 (即CVPR NTIRE 2024)上举办首届短视频质量评价学术竞赛。

大赛背景

短视频已经成为一种不可替代的主流媒体形式之一，例如快手、抖音、Tiktok等。得益于较低的创作成本、丰富的创作模式、以及短而精的创作内容，极大丰富了人们的生活。然而，在短视频创作、上传、到传输过程中，由于复杂的处理流程和多数非专业的创作环境，使得短视频质量差异较大。因此，如何有效衡量短视频的主观质量成为影响短视频平台发展的一个重要挑战。

为此，我们联合第9届CVPR NTIRE Workshop，组织了首届短视频质量评价学术竞赛，以推动短视频领域质量评价算法的研发，让更多研究者了解短视频数据的产生过程，从而促进短视频媒体领域的发展。

大赛介绍

本次比赛采用名为KVQ的大型短视频质量评价数据集，该数据集由快手公司授权采集，联合中国科学技术大学进行数据集标注和标准化。包含风景、人群、食物、肖像等9个内容场景，其中每个内容比例按照快手短视频平台在线统计量制定, 共计4200个短视频。

具体来说，训练集、验证集、测试集按照70%, 10%和20%划分。

在模型开发阶段，训练集和验证集被提供，参赛者可借助训练集训练模型，并通过官方提供的提交示例，在CodaLab服务器注册提交进行评估。

在测试阶段，竞赛组织方将会公布测试集，最终比赛成绩由比赛组织方以测试集上性能结果进行排名。

大赛官网

• 比赛网址：https://codalab.lisn.upsaclay.fr/competitions/17638

• 项目主页：https://lixinustc.github.io/projects/KVQ/

• 论文链接：KVQ: Kwai Video Quality Assessment for Short-form Videos.  (https://arxiv.org/abs/2402.07220)

• CVPR NTIRE 2024官网：https://cvlai.net/ntire/2024/

大赛要求

本次学术竞赛面向全社会开放，个人、高等院校、科研单位、企业等人员均可报名参加，每位参赛者在测试提交阶段只允许参加一个队伍，每个队伍人数最多不超过8人。

同时每个队伍只允许提交一个比赛结果进行最终排名，请在提交比赛结果和最终方案说明（即Fact sheets）时确定最终方案和队伍名。

为保证比赛的公平性，如使用额外数据集，请在最终方案中说明。

大赛奖励

每个团队是否提交Workshop论文是个人可选的，不作为评奖要求。会议组织方将邀请成绩靠前的队伍提交CVPR2024 Workshop论文，供同行审稿。参与测试阶段提交的团队，尤其是排名靠前和方案新颖的团队将有机会被邀请共同参与挑战报告的撰写。上述论文录用后将发表于CVPR2024 Workshop论文集中。

会议组织方将为获胜团队将提供比赛奖励和证书（具体后续将会更新到比赛主页），比赛奖励（拟美元或者同等价值礼物）将由快手公司或NTIRE组织方进行发放。

大赛组织方

本次比赛由快手音视频技术部与中国科学技术大学智能媒体实验室联合举办。

竞赛组织者联系方式：

Xin Li (lixin666@mail.ustc.edu.cn)
Kun Yuan (yuankun03@kuaishou.com)
Yajing Pei (peiyj@mail.ustc.edu.cn)
Yiting Lu (luyt31415@mail.ustc.edu.cn)
Ming Sun (sunming03@ kuaishou.com)
Radu Timofte (Radu.Timofte@uni-wuerzburg.de)
Chao Zhou (zhouchao@kuaishou.com)
Zhibo Chen (chenzhibo@ustc.edu.cn)

大赛交流群

下面是大赛官方微信群：如遇到问题（如过期）请联系 peiyj@mail.ustc.edu.cn 处理。

附：比赛KVQ数据集简介

• 项目主页：https://lixinustc.github.io/projects/KVQ/

图1：KVQ短视频数据集内容示例

近年来，短视频UGC视频平台取得了突破性的进展，数十亿用户积极上传和分享他们的UGC视频，内容涵盖个人生活、专业技能和教育等。尽管如此，由于非专业拍摄或码率限制造成的主观质量的大幅波动迫切需要开发针对短视频质量评估系统。

如上图所示，短视频质量评估存在两个主要挑战，阻碍了现有视频UGC质量评价方法的应用：（i）存在海量的创作/生成模式，例如特效、三段式（请见图1）和各种内容，包括肖像、风景、食物等，这阻碍了VQA模型准确识别决定质量的区域/内容。(ii)复杂的处理流程，例如转码和增强，以及用户上传的视频中存在的复杂失真，这给视频质量评价模型评估短视频质量带来了很大的挑战。

为了促进短视频领域的发展，中国科学技术大学智能媒体实验室联合快手音视频技术部从快手播放平台收集并标注了4200个具备代表性的短视频，构成短视频质量评价数据KVQ（Kwai Video Quality Assessment Database）。

其中收集流程如下：

图2：KVQ数据集收集流程

该数据集包含短视频中多种典型的创作模式，例如三段式、特效、字幕、直播模式以及其他传统创作模式。同时涵盖了短视频平台视频处理的三大类典型的处理流程，如不同类型的增强、前处理、以及转码方式，极具的代表性和可应用性。

同时本数据集也提供了对应的Baseline算法KSVQE，如上图所示，该算法以3D Swin Transformer作为基础，引入CLIP内容先验，借助区域自适应内容采样以及内容自适应调制方法增强模型对于短视频内容的理解能力，解决短视频内容种类繁多、质量关注区域变化大的问题。

同时基于高效迁移学习进行失真预训练模型失真先验的提取和调制，使其更好区分复杂的短视频失真类型，该算法在短视频质量评价数据集KVQ取得了优越的性能。

END

加入「视频质量评估」交流群👇备注：VQ