CVPR 2024 Workshop | AIGC质量评价挑战赛启动！

关注公众号，发现CV技术之美

NTIRE (New Trends in Image Restoration and Enhancement) 是近年来计算机视觉领域中具有广泛影响力的全球性研讨会之一，其涵盖了绝大部分底层视觉任务并提供了相应挑战赛。其中，NTIRE 2024 AIGC质量评价挑战赛由上海交通大学刘笑宏、闵雄阔、翟广涛教授团队与华为技术有限公司共同主办。第九届NTIRE研讨会将于2024年6月18日（暂定）与CVPR 2024一同举行。

• 大赛背景

随着生成式人工智能的兴起，近年来涌现了大量文生图、文生视频模型。此类算法的主要目标是根据用户要求（prompt）生成视觉内容。因此，评价人类对AIGC的主观偏好逐渐受到了广泛重视，具有重要的研究价值。然而现有的图像/视频质量评价（I/VQA）方法与人类主观感知质量的相关性不强，且通常无法表征生成内容与用户要求的契合度，因此需要提出新的评价指标来预测AIGC的质量，由此促进多模态生成领域的发展。与NTIRE研讨会一起，我们组织了一场关于AIGC质量评价的挑战赛。其目的是获得一种网络设计/解决方案，能够产生与图像、视频主观质量分数（即平均意见得分，MOS）具有最佳相关性的高质量结果。

• 大赛介绍

该挑战使用了一个名为AIGCQA-30K的新数据集，包含赛道1的20,000 个图像和赛道2的10,000 个视频数据。涵盖了主流的16种文生图，以及8种文生视频模型。具体来说，训练集包含 70% 的内容，验证集 10%，测试集 20%。在模型开发阶段，将发布训练集和验证集。参赛者可利用训练集进行模型训练，并将验证集上的结果提交至CodaLab服务器进行评估。在测试阶段，竞赛组织者将发布测试集。参赛者可利用训练好的模型对测试图像质量进行预测，并提交预测结果，由组织者统一进行定量评估与排名。

• 大赛官网与挑战赛网址

NTIRE官网：https://cvlai.net/ntire/2024/ AIGC质量评价挑战赛网址（图像赛道）：https://codalab.lisn.upsaclay.fr/competitions/17627 AIGC质量评价挑战赛网址（视频赛道）：https://codalab.lisn.upsaclay.fr/competitions/17621

• 赛程安排

2024.02.05 发布训练集和验证集 2024.02.05 发布在线验证平台 2024.03.07 发布测试集，关闭验证平台 2024.03.14 测试结果提交截止日期 2024.03.15 概况介绍和代码/可执行文件提交截止日期 2024.03.17 向参与者发布初步测试结果 2024.04.01 挑战参赛作品的论文提交截止日期 2024.06.18 NTIRE研讨会和挑战、成果和颁奖典礼（暂定）

• 大赛要求

本次挑战赛面向全社会开放，个人、高等院校、科研单位、企业等人员均可报名参赛。每支队伍只能提交一种图像质量评价和/或一种视频质量评价算法进行最终排名。

• 大赛奖励

参赛队伍可自由选择是否发表竞赛相关论文，且该选择不会成为参加挑战赛或获奖的必要条件。本次挑战赛将邀请排名靠前的参赛者向NTIRE研讨会提交论文，以供同行评审。论文录用后将发表在2024年CVPR研讨会论文集中。

排名最高的参赛者和为比赛贡献新颖方法的参赛者将被邀请成为挑战赛报告论文的共同作者，该报告将在2024年CVPR研讨会上发表。图像与视频赛道将分别进行排名，并发放奖金。两条赛道的奖金均（暂定）如下：第一名：1000美元或同等价值的礼物+证书 第二名：600美元或同等价值的礼物+证书 第三名：400美元或同等价值的礼物+证书

• 主办团队

NTIRE2024 AIGC质量评价挑战赛由上海交通大学与华为技术有限公司共同举办。其中交大团队成员由刘笑宏、闵雄阔、翟广涛教授及其带领的博士后孙伟，博士研究生李春一、高艺璇、曹于勤、张子澄，硕士研究生寇腾川、吴偕乐组成。

• 竞赛组织者的联系方式

Xiaohong Liu xiaohongliu@sjtu.edu.cn, Xiongkuo Min minxiongkuo@sjtu.edu.cn, Wei Sun sunguwei@sjtu.edu.cn, Guangtao Zhai zhaiguangtao@sjtu.edu.cn. Chunyi Li lcysyzxdxc@sjtu.edu.cn, Tengchuan Kou 2213889087@sjtu.edu.cn,

• 大赛交流群

欢迎大家积极参赛，如群满或二维码到期请通过邮箱lcysyzxdxc@sjtu.edu.cn联系加群！

END

欢迎加入「质量评价」交流群👇备注：QA