近日,CVPR NTIRE 2023 Quality Assessment of Video Enhancement Challenge比赛结果公布,来自大淘宝音视频技术团队的同学组成「TB-VQA」队伍,从37支队伍中脱颖而出,拿下该比赛(唯一赛道)冠军。此次夺冠是团队继MSU 2020和2021世界编码器比赛、CVPR NTIRE 2022压缩视频超分与增强比赛夺魁后,再次在音视频核心技术的权威比赛中折桂。
赛事介绍
CVPR NTIRE (New Trends in Image Restoration and Enhancement workshop and challenges on image and video processing) 是近年来图像和视频增强处理领域最具影响力的全球性赛事。今年(2023)的赛事包括Quality Assessment of Video Enhancement Challenge(视频质量评价,VQA)、real-time image super-resolution、image shadow removal、video colorization、image denoising等,覆盖许多图像和视频增强处理的经典任务。
由上述竞赛不难看出,视频增强处理已经在学术界大量研究并在工业界得到广泛应用。随着互联网视频化的深入,越来越多的UGC(user generated content)等非传统广电视频(包括但不限于短视频、直播等)在互联网平台上被生产或播放,并大都经过增强处理。自然地,如何有效地衡量增强处理后的视频质量就成为一项重要且紧迫的任务。
因此,VQA竞赛应运而生,并由NTIRE于今年首次举办。主办方构建了包含1,211个真实应用场景的视频的数据集 ,对其进行包括色彩、亮度、和对比度增强、去抖动、去模糊等增强处理,并对处理后的视频进行打分作为GT(ground truth)。参赛者设计方案对上述视频进行打分,与GT更为接近(使用相关性作为衡量指标,包括SRCC和 PLCC,是业界最常用的指标,更高的SRCC和PLCC表示与GT拟合程度更高)的参赛者名次更好。
本次竞赛由苏黎世联邦理工学院计算机视觉实验室主办,仅有唯一赛道——无参考视频质量评价,云集了国内外几十只参赛队伍,包括字节、快手、网易、小米、Shopee等知名科技企业,北京航空航天大学、新加坡南洋理工大学等高校均有参赛。
经过激烈的角逐,大淘宝音视频技术的参赛队伍「TB-VQA」在唯一赛道夺冠,在Main Score、SRCC、和PLCC三项指标均胜出。
表1. CVPR NTIRE 2023 VQA比赛排行榜
值得一提的是,本次比赛的冠军是大淘宝音视频技术团队继MSU 2020和2021世界编码器比赛、CVPR NTIRE 2022压缩视频超分与增强比赛夺魁后,再次在音视频核心技术的权威比赛中取得佳绩。团队在视频编码、视频增强处理、视频质量评价、以及视频传输等视频核心技术领域均有布局,一些技术突破发表在CVPR、ICCV等计算机视觉和视频领域的顶级会议,在上述比赛取得出色成绩,也是团队长期以来持续投入和不断创新的阶段性成果。
在视频编码方面,MSU(莫斯科国立大学)世界视频编码器大赛是视频编码领域最权威的全球性顶级赛事,迄今已由MSU的Graphics & Media Lab连续举办了二十三届,其评测报告被业界广泛认可,吸引了包括Google、