【竞赛】视频质量评价竞赛经验记录-1（比赛介绍）

机缘

偶然看到CVPR2023的关于视频质量质量评价的比赛，刚好和我做的图像美学质量评价方向有些相关，花了点时间参加比赛感受了一下，也将自己以前积累的经验应用和实践了一把，有些收获和思考，及时记录和分享。

---

比赛内容

• 简介
  主要是针对目前各大社交平台和娱乐APP中用户制作的UGC（User-generated Content）视频内容进行质量评分，这对于视频平台是非常重要的，可以有效评估和增强视频质量，提高用户体验，增加浏览量以提高潜在收益。

• 数据集
  主要分为训练集（839个视频），验证集（119个视频）和测试集（253个视频）。
  其中训练集分为A\B\C三种视频增强方式，A类主要是色彩、对比度和亮度的增强，B类主要是针对视频抖动进行稳定性增强的结果，C类主要是针对去模糊后的结果。

• 数据标签
  例如训练集，同一个场景一般会有4~6个视频，每个视频有不同程度和方式的处理，通过多人评分得到均值作为当前视频的质量评价分数，分数段在20-100之间，作为当前视频的质量评价分数。

• 评价方式
  通过设计模型，增强数据集，优化训练策略和提出更合适的损失函数，能得到最优模型，预测更符合真实标签的视频质量评价分数（单个值代表这个视频的质量分数！）
  使用SRCC和PLCC的平均值作为最终的模型性能指标，预测的测试集合分数向量和真实标签向量的相关性更相近，排名越好！

% SROCC
r_s = abs(corr(VQA_scores_predicted, MOS_scores, 'type', 'Spearman'));
 
% PLCC with Three order polynomial
fit_func = polyfit(VQA_scores_predicted, MOS_scores, 3);
fitted_MOS = polyval(fit_func, VQA_scores_predicted);
r_p = abs(corr(fitted_MOS, MOS_scores, 'type', 'Pearson'));

%Report the Average of PLCC and SROCC
r = (r_s + r_p)/2;

scipy.stats中包含的srocc和plcc同样能直接调用计算

• baseline
  “A Deep Learning based No-reference Quality Assessment Model for UGC Videos”. ACM MM2022论文作为baseline，速度快、性能还不错！ code

• 提交
  比赛一般都会有明确的格式要求，必须以规定的格式提交文件名和对应预测分数，验证集可以直接输出预测结果和gt的相关性！
  比赛最终提交submission.zip，包含output.txt和readme.txt，output.txt包含文件名和对应分数值，readme.txt包含对GPU的使用，是否使用额外数据集，模型的改进方式和优化策略的简介！

---

下一篇将详细介绍我对视频质量评价的调研内容和我的初步结果，欢迎关注和阅读！

参考资料

1. 视频质量质量评价
2. SimpleVQA code