CVPR 2025 NTIRE赛事 | XGC质量评价挑战赛AI Generated Video赛道，等你来战！

美团技术团队

于 2025-02-09 16:01:01 发布

阅读量1k

点赞数 16

文章标签：人工智能

本文链接：https://blog.csdn.net/MeituanTech/article/details/145541247

版权

CVPR NTIRE（New Trends in Image Restoration and Enhancement）Workshop 是计算机视觉顶会CVPR下极具影响力的国际学术研讨会，聚焦图像复原、图像增强、生成技术、质量评估的突破性进展。为了促进视频生成技术的持续发展，美团联合上海交通大学在CVPR 2025 NTIRE Workshop上举办XGC质量评价挑战赛（AI Generated Video赛道），期望能够提供一种新的视频质量评价（VQA）方法，以准确预测生成视频的质量。

随着AIGC的蓬勃发展，以Sora、可灵AI为代表的模型引领了视频生成领域的一波热潮，为了推进视频生成这一领域的发展，置信准确的自动化评估生成算法性能成为一个重要任务。而对于AI生成的视频进行质量评价又和传统UGC视频有很大的区别，在对UGC视频进行质量评价时，我们更多关注视频的清晰度、色彩和光照；对于AI生成的视频，我们在进行质量评价时主要关注视频中物体运动的流畅性和内容的真实性，这就需要提出新的视频质量评价（VQA）方法，以准确预测生成视频的质量。

为此，我们与 NTIRE 研讨会联合举办了一项关于生成视频质量评价的挑战赛，任务是基于视频-prompt及其感知质量标签的先验示例，预测生成视频的感知质量分数。目标是设计一种网络，期望能获得一个与我们标注的真实值（MOS分数）尽可能高的相关性指标。

我们的数据集具有很好的多样性和全面性，涵盖多种场景和内容。具体来说，其包含34,029个不同视频，这些视频由14个不同的视频生成模型（包括cogvideo、SVD等主流模型）使用4,689条prompt生成。我们按照7:1:2的比例将整个数据集划分为训练集、验证集和测试集。其中训练集包含23,820条生成视频、各自对应的prompt和质量分数；验证集包含3,402条生成视频以及各自对应的prompt；测试集包含6,807条生成视频以及各自对应的prompt。

我们给出的具体数据集格式如下：

这里以训练集为例，以JSON形式保存，每个字典元素包含两个属性，video存储视频名称，prompt为生成该视频使用的prompt，gt_score为该视频的人工标注质量分数。

验证集、测试集无质量分数，仅包含video和prompt两个属性。

提交结果格式如下

结果同样要求保存为JSON文件，每个元素包含两个属性，video为视频名称，predict_score为模型预测质量分数；同时我们要求额外提交readme.txt，记录模型其他信息，具体提交要求见比赛主页evaluation页面。

评估指标

Score = (PLCC + SROCC) / 2