Blindly Assess Image Quality in the Wild Guided by A Self-Adaptive Hyper Network阅读笔记

一.真实失真图像的盲评是一大挑战，当前方法大多是关于合成数据集的，泛化能力差，因此本文提出一种自适应的超网络结构对真实的图像进行评价。图像质量评价算法在真实数据集上遇到如下三个挑战：1受限于真值图的获取；2真实数据集失真类型过多；3.真实数据集包含过多的图片内容。采用最初设计用于学习如何识别对象的网络体系结构来完成IQA的任务，存在两个缺点：第一，真实数据集失真大都存在于局部失真，而当前的深度模型大都学习的是全局失真，以至于模型预测的质量分数与人眼不一致。第二，没有在识别图片内容的基础上预测图片质量。基于上述两个挑战论文提出 local distortion aware module to extract local features以及一个超网络结构用于为质量预测网络根据不同的图片内容动态产生权重。
二.提出的模型简析
传统的基于深度学习的图像质量预测模型可简单表示为：
ϕ(x, θ) = q
x代表图像的输入， θ代表权重
论文中提出的模型为：
ϕ(x, θx) = q
其中θx根据输入图像内容的变化而变化。
θx = H(S(x), γ)
H为超网络映射函数，S(x)代表输入图像的语义特征，γ为参数，超网络的功能是学习从图像内容到如何判断图像质量规则的映射，整体表示为：
ϕ(vx, H(S(x), γ)) = q
其中vx = Sms(x)。
三.论文提出的模型架构

网络整体可分为三部分：语义特征提取网络，学习感知规则的超网络、质量预测目标