论文阅读笔记：Deep Video Quality Assessor

最新推荐文章于 2022-08-04 16:38:15 发布

qq_25283239

最新推荐文章于 2022-08-04 16:38:15 发布

阅读量691

点赞数 2

分类专栏：论文笔记 VQA

本文链接：https://blog.csdn.net/qq_25283239/article/details/103348452

版权

论文笔记同时被 2 个专栏收录

25 篇文章 4 订阅

订阅专栏

VQA

2 篇文章 0 订阅

订阅专栏

论文PDF: Deep Video Quality Assessor: From Spatio-Temporal Visual Sensitivity to a Convolutional Neural Aggregation Network

Temporal Motion Effect

启发来自视频的时空特性引起的综合掩盖效应。

时间掩盖效应：在存在较大运动时，色相，亮度和尺寸的变化对人来说不太明显。[4]

如果存在强烈的对比度或运动，根据掩盖效果[4,19,20”，失真就不太明显。 [4,19,20]

这一部分：提出了一种自上而下的方法，在该方法中，首先建立了失真与感知得分之间的关系，然后考虑了像素级敏感度基于时空因素。

[4] Suchow, J.W., Alvarez, G.A.: Motion silences awareness of visual change. Curr. Biol. 21(2), 140–143 (2011).
[19] Legge, G.E., Foley, J.M.: Contrast masking in human vision. JOSA 70(12), 1458–1471 (1980).
[20] Kim, H., Lee, S., Bovik, A.C.: Saliency prediction on stereoscopic videos. IEEE Trans. Image Process. 23(4), 1476–1490 (2014)

Temporal Memory for Quality Judgment

这一部分考虑了根据视频中帧的质量得分探索人类的回溯性质量判断模式。

如果视频（视频B）中存在严重失真的帧，即使两者均具有相同的平均质量，人们通常会确定其质量低于具有均匀质量分布的视频（视频A）

Architecture

spatical error map:

$\\e_S^t = \frac{log(1/(\hat{I}_r^t -\hat{I}_d^t)^2 + \epsilon / 255^2)}{log(255^2/\\epsilon ))}$

$\hat{I}^t_r / \hat{I}^t_d$ 表示失真frame $I_d^t$ 和参考frame $I_r^t$ 的第t帧的归一化形式。

frame difference map:

$\textbf{f}^t_d=|I^{t+\delta}_d - I^t_d| \newline \newline \delta = |fps/25|$

temporal error map:

$e^t_T = |\textbf{f}^t_d - \textbf{f}^t_r| , \textbf{f}^t_r$ 是参考帧的帧差

spatio-temporal sensitivity map:

$s^t = CNN_{s_1}(\hat{I}^t_d, e^t_S,\textbf{f}^t_d, e^t_T;\theta_{s1}),where \quad CNN_{s1} \quad is \quad the \quadCNN\quad model \quadof\quad step 1 \quadwith\quad parameters \quad \theta_{s1}$

perceptual error map:

$\textbf{P}^t = s^t \bigodot e^t_S, where \quad \bigodot \quad is \quad element-wise \quad product$ , 表示元素逐一相乘

spatial score :

$\mu_P^t =\frac{1}{(H-8)\cdot (W-8)} \sum_{(i,j)\in \Omega} P^t$

Convolutional Neural Aggregation Network

其中，

$e = m * \mu_P$

$\omega_t = \frac{exp(e_t)}{\sum_j exp(e_j)}, \sum_t\omega_t=1$

实验评价指标：

SROCC（Spearman rank-order correlation coefficient，斯皮尔曼秩相关系数）
PLCC（Pearson linear correlation coefficient，皮尔森线性相关系数）

qq_25283239

关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
论文阅读笔记：Deep Video Quality Assessor

论文PDF:Deep Video Quality Assessor: From Spatio-Temporal Visual Sensitivity to a Convolutional Neural Aggregation NetworkTemporal Motion Effect启发来自视频的时空特性引起的综合掩盖效应。时间掩盖效应：在存在较大运动时，色相，亮度和尺寸的变化对人...
复制链接

扫一扫