论文阅读（一）：Bottom-Up Saliency Detection Model Based on Human Visual Sensitivity and Amplitude Spectrum

（1）Bottom-Up Saliency Detection Model Based on Human Visual Sensitivity and Amplitude Spectrum

摘要

传统上，对图像中显著区域的预测是用基于神经科学原理的手工制作的特征来解决的。而本文通过训练卷积神经网来解决这个问题。学习过程是将一个损失函数最小化，它测量了所预测的显著映射和groundtruth的欧氏距离。最近发布的大量的显著预测数据集提供了足够的数据来训练快速和准确的端到端架构。提出了两种设计方案：一种从头开始训练的浅层的卷积神经网络，另一种更深层的解决方案，其前三层是由另一个训练好的网络进行改造的。据作者所知，这是第一个端到端的CNN训练并测试了显著预测的结果。

1. 本文方法: 

在本文中，

C:Differences Between Image Patches and Their Weighting to Saliency Value

每个图像patch的显著值是由这个patch和它的patch邻域(包括图像中的所有其他图像patch)之间的加权差决定的。如果图像贴片与其邻域明显不同，那么它成为显著区域的可能性就更高。图像patch的显著性值应该更大，因为这个patch与其邻居之间的差异更大。随着patch与邻居之间的空间距离(偏心)的增加，这个差值与patch显著性值的权重就会降低。

视距与视网膜偏心的关系：

获取差异D：

m代表每个patch中所有像素值。

用的是振幅谱的欧氏距离表示每个补丁与其邻居之间的差异。为了减小幅值系数的动态范围，我们采用对数运算，将常数1加到每个初始幅值上，以避免在接近0时出现未定义的情况。

对比度灵敏度定义为对比度阈值的倒数，如下图所示:

对比度阈值函数：

其中，f为空间频率(周/度)，e为视网膜偏心度(度); C0为最小对比度阈值;

α空间频率衰减常数; e2是半分辨率的偏心。

1. 整体设计：

每个图像patch的显著性由两个因素决定：一个是该图像patch与输入图像中所有其他图像patch之间的差异；另一个是这些差异的权重。

固定中心的偏心量不是直接作为计算图像patch显著性值的权重因子，而是作为计算patch差异对的权重因子。patch差异的权重是由人类的视觉敏感度（HVS）决定的，这意味着patch与邻近patch(具有较小的偏心)之间的差异的权重要大。随着图像patch之间的偏心度越大(距离越远)，视觉敏感度就越低，因此图像patch之间的差异权重就越小。因为人眼对距离较近的图像斑块与距离较远的图像斑块的斑块差异更敏感。该模型考虑了局部和全局中心-环绕差值，利用图像中所有其他图像块的patch差值来计算图像块的显著性值。

Amplitude Spectrum for Each Image Patch：

使用颜色，亮度通道作为QFT的输入，QFT的振幅频谱差异展示了图像patch间的颜色，亮度，方向的差异，用对抗颜色代表图像patch的颜色信息。RGBY(R-G, B-Y)。

四元数：