Two-Stream Convolutional Networks for Blind Image Quality Assessment

摘要

本文算法中提出了一种双流卷积网络，包括用于图像和梯度图像的两个子成分。这种设计的灵感来自使用双流来获得不同的输入等级信息，并且减少从单流中提取特征的难度。梯度流提取图像的结构细节信息，图像流提取图像的强度信息。除此之外考虑到图像中的局部不均匀分布的失真情况，增加了一个基于区域的全卷积层来使用输入图像块中间的周围信息，最后的分数是平均所有块的分数。

介绍

本文中提出的算法是受之前的一系列双流深度网络启发，双流网络通常能够增强性能通过融合来自多个资源的信息。图像的梯度反映图像的结构信息，并且具有鲁棒性，因此将图像的梯度图作为另一个输入流。该操作可以获得输入的不同等级的输入信息并且可以减少从单流中提取特征的难度。
考虑到图像的局部不均匀失真分布分情况，增加了一个基于区域的全卷积层来提取输入图像块中心周围部分的信息。
本论文的贡献可以概括为以下几点：

• 提出了双流深度神经网络，然后融合它们提取的特征来预测分数。
• 为了解决图像的局部非均匀失真问题，提出了基于区域的全卷积层来提取图像块的中心周围区域的信息。
• 在拓展的数据集上进行试验来证明算法的有效性。
  

网络结构

图像流网络在RGB图像上操作，某些失真与颜色像素的强度有关。梯度可以直接的反映图像的高频部分信息，可以用它来增强IQA的性能。除此之外使用基于块的处理来解决非均匀变化的失真。
双流结构
网络的输入是图像和梯度块，网络包含十层：卷积层为7-3