显著性检测（二）

5、Real Time Image Saliency for Black Box Classifiers（实时图像显著性）
Piotr Dabkowski
pd437@cam.ac.uk
University of Cambridge
Yarin Gal
yarin.gal@eng.cam.ac.uk
University of Cambridge
and Alan Turing Institute, London
现在的图像分类器有很好的效果，但存在一些问题，如我们可以添加一些小的扰动到输入图像上，不会影响人的视觉，但是会导致分类错误。另一个问题是分类器不能理解这个类尽管准确率很高。例如如果北极熊是唯一一个有雪的，那识别率是百分百但关注点可能是在雪上而不是熊上。可以用显著性的方法检测分类器到底看的是什么。
论文提出了一个又快准确率又高的提取显著性的方法。并不是迭代的获取，而是predict such a map for any input image in a single feed-forward pass。
以前的方法基于梯度的可以实时但是质量不好。迭代图像patches很好说明但是花费很多时间，不能实时。
这篇论文对网络结果没有细说。

scale5的feature map进入特征滤波器，特征滤波器是来减弱与所选类别不相关的空间位置。其他上采样的块微调产生的mask。

每秒100帧

6、SalGAN: Visual Saliency Prediction with Adversarial Networks（对抗网络显著预测） CVPR Scene Understanding Workshop (SUNw). 2017.
Junting Pan, Elisa Sayrol and Xavier Giro-i-Nieto
Image Processing Group
Universitat Politecnica de Catalunya
Barcelona, Catalonia/Spain

利用生成对抗网络来做显著性预测，GAN一般是鉴别器来判断区分真实数据和产生器生成的数据，这里的数据是一对真实图片和他们相应的视觉显著图。对抗训练的好处是不需要指定一个定制的损失函数。目的是从给的图片预测出显著图。
生成器卷积层最大池化层然后是上采样卷积，构造一个与输入相同的输出。鉴别网络是6个3*3的卷积层和3个全连接层。
训练一个perceptual loss是结合了content loss和adversarial loss,content loss是预测显著图在像素上和ground truth比较。adversarial loss是鉴别器对生成的显著图的预测。
给生成器的是一张图片，鉴别的输入是图片和显著性图。 can achieve state-of-the-art performance with a simple encoder-decoder architecture.

7、Shallow and Deep Convolutional Networks for Saliency Prediction
cvpr2016
Junting Pan ∗ , Elisa Sayrol and Xavier Giro-i-Nieto
Image Processing Group
Universitat Politecnica de Catalunya
Barcelona, Catalonia/Spain
该loss function是测量的预测显著图和提供的ground truth的欧氏距离。 end-to-end回归。
两个设计，一个浅的trained from scratch，一个深的其前三层用的训练好的分类网络。据作者所知，这是第一个端到端的cnn训练和测试为了显著性预测。

显著性检测区别于图像分类有两个主要的挑战。一是数据集比较难弄，二是显著值必须从输入图像的每一个像素值估计，而不是整个图像的一个全局标签。输出的显著图必须呈现空间想干性和在相邻像素之间平稳过渡。
Shallow Convnet

6400万的参数量，输出的2304维是48*48，显著性检测每张图片需要200ms。
Deep Convnet
2500万参数量
虽然训练时输入是320*240，但是可以处理任意大小的图片，因为只包含卷积层和池化层。
两种结构的区别应该就是浅的更快（深的没说时间），深的更准确。