机缘
偶然看到CVPR2023的关于视频质量质量评价的比赛,刚好和我做的图像美学质量评价方向有些相关,花了点时间参加比赛感受了一下,也将自己以前积累的经验应用和实践了一把,有些收获和思考,及时记录和分享。
比赛内容
- 简介
主要是针对目前各大社交平台和娱乐APP中用户制作的UGC(User-generated Content)视频内容进行质量评分,这对于视频平台是非常重要的,可以有效评估和增强视频质量,提高用户体验,增加浏览量以提高潜在收益。
-
数据集
主要分为训练集(839个视频),验证集(119个视频)和测试集(253个视频)。
其中训练集分为A\B\C三种视频增强方式,A类主要是色彩、对比度和亮度的增强,B类主要是针对视频抖动进行稳定性增强的结果,C类主要是针对去模糊后的结果。 -
数据标签
例如训练集,同一个场景一般会有4~6个视频,每个视频有不同程度和方式的处理,通过多人评分得到均值作为当前视频的质量评价分数,分数段在20-100之间,作为当前视频的质量评价分数。 -
评价方式
通过设计模型,增强数据集,优化训练策略和提出更合适的损失函数,能得到最优模型,预测更符合真实标签的视频质量评价分数(单个值代表这个视频的质量分数!)
使用SRCC和PLCC的平均值作为最终的模型性能指标,预测的测试集合分数向量和真实标签向量的相关性更相近,排名越好!
% SROCC
r_s = abs(corr(VQA_scores_predicted, MOS_scores, 'type', 'Spearman'));
% PLCC with Three order polynomial
fit_func = polyfit(VQA_scores_predicted, MOS_scores, 3);
fitted_MOS = polyval(fit_func, VQA_scores_predicted);
r_p = abs(corr(fitted_MOS, MOS_scores, 'type', 'Pearson'));
%Report the Average of PLCC and SROCC
r = (r_s + r_p)/2;
scipy.stats中包含的srocc和plcc同样能直接调用计算
-
baseline
“A Deep Learning based No-reference Quality Assessment Model for UGC Videos”. ACM MM2022论文作为baseline,速度快、性能还不错! code -
提交
比赛一般都会有明确的格式要求,必须以规定的格式提交文件名和对应预测分数,验证集可以直接输出预测结果和gt的相关性!
比赛最终提交submission.zip,包含output.txt和readme.txt,output.txt包含文件名和对应分数值,readme.txt包含对GPU的使用,是否使用额外数据集,模型的改进方式和优化策略的简介!
下一篇将详细介绍我对视频质量评价的调研内容和我的初步结果,欢迎关注和阅读!
参考资料