图像质量评估 《Assessing Image Quality Issues for Real-world Problems》

   本文作者对盲人拍摄的图片进行质量分类，分为模糊、过亮、过暗、遮挡和旋转等类别，根据图片中的物体是否可以识别分为可识别的和不可识别的，最后对图片进行了信息描述。

      目前关于图像质量评估的数据集包括LIVE、LIVE MD、TID2008、TID2013、CSIQ、Waterloo Exploration、ESPL-LIVE等，图像质量评估算法NR-IQA方向包括BRISQUE、NIQE、CNN-NRIQA、DNN-NRIQA和NIMA等。在图像数据创建过程中需要对不可识别的图片进行删除，而能够识别出哪些图片的目标是不可识别的，对于创建大规模的数据集是很有用的，这也是作者提出判断图片中物体是否可识别的初衷。而评价图片的质量识别图像中的物体是否可以识别非常有助于盲人使用照相机，对于图片的描述作者分为了两个方面，一方面是识别图片中的物体是否能够被认出来，第二个是解释图片的物体是否能够被描述，如果不能是因为图片信息不可以识别还是因为图像中的物体的关键信息丢失了。

   作者收集了盲人日常拍摄的图片，对图片质量分为6类，模糊、过亮、过暗、遮挡、图片信息缺失(只拍摄的一半)、旋转(需要对图片进行旋转才能看)。

分类不可识别的图像

    作者用现有的NR-IQA方法来分类数据集，分别采用了BRISQUE、NIQE、CNN-NRIQA、DNN-NRIQA和NIMA方法，前两种方法采用的是人工手动选择特征的方法，后三种运用了深度学习提取特征。运用这些方法进行分类都不能分开不可识别的图像，主要原因是因为不可识别图像与图像的质量的一致性不一样，比如某个图片的质量很差，但里面的物体是可识别的。

  作者采用ResNet-152模型来提取图像的特征，在全连接层后接入2个全局池化层。最后一层用sigmoid激活函数。用Adam优化器，learning_rate为0.001，8epochs。固定了用ImageNet训练的参数，只训练全连接层。

   数据划分为training、Validation、test分别为数据集的52.5%、37.5%、10%.

   作者在他的算法中比较了很多基础模型，包括自由猜，SIFT特征+线性SVM预测(由于低质量的图像角点很少或者没有)。作者也比较了HOG特征+线性的SVM预测。

   作者的评价标准包括average precision，recall，f1 Scores。

   结果图如下：

    通过结果图可以看出来SIFT和HOG在Avg precision表现的最好，但是在recll和f1上表现的很差，这意味着SIFT和HOG能够捕捉到不能识别的图像的局部信息，但是仍然不能描述很多其他的信息。ResNet在Recall和F1上表现的都很好，但在Avg precision上表现的很差，主要是ResNet能够更有效的学习不能识别的图像的特征。

对视觉图像问题的回答

    这个问题包括 A：可以回答，：不能回答，R：可以识别，：不能识别，Q：质量问题

   作者解决这个问题的算法是对Up-Down VQA模型的扩充，输入的是图像的编码特征和对应的问题，图像特征可以用ResNet-152来获得，也可以通过Faster-RCNN和Detectorn来提取，输入的问题首先被GRU编码，然后用top-down注意力模型通过输入的图像特征和问题编码计算参数，最后输出的是是否回答的是否可识别。作者在模型的输出端设计了两个不同的激活函数。  

  1.softmax来预测三类：可回答，不可识别和没有充分的信息。

  2.两个独立的sigmoid激活函数，一个是是否可回答，一个是否可识别。作者训练模型用Adam激活函数，learning rate是0.001.

   数据划分为training、Validation、test分别为数据集的70%、20%、10%.

   作者的评价标准包括average precision，precision，recall，f1 Scores，0.5作为概率阈值。

   结果 如下图所示：

 

TD+softmax和TD+sigmoid模型由于其他的算法，TD+sigmoid要优于TD+softmax。