cvpr 注意力机制_视觉注意力机制的生理解释

这篇是对下面两篇文章的笔记整理。两篇文章都是同一个作者，前一篇是 ECCV 2018 的文章，后面作者挂在了 arXiv 上，看样子是投 CVPR 的。

Yohanandan, ECCV 2018, Saliency Preservation in Low-Resolution Grayscale Images Yohanandan, arXiv 2018, Fast Efficient Object Detection Using Selective Attention

注意力机制一般分为 bottom-up 和 top-down 两种。Bottom-up 的注意力机制是外界刺激和特征驱动的，负责快速、自动且不由自主的注意力和凝视的快速转变；相反，top-down 机制是任务驱动、基于经验（记忆）的，因人而已。这篇笔记，或者说上面两篇论文只针对 Bottom-up，主要内容是从生理机制上解释为何人类的显著性检测和选择性注意力能够如此高效。此外，对我而言，读完这两篇文章另外一个收获是对于 Object Detection 中的 One-stage method 和 Two-stage method 中的选择，让我坚定了对 Two-stage method 的信仰，因为在我看来人眼 Bottom-up 的视觉选择性注意就是一个 two-stage 过程。

Biological Explanation

作者先是讲了一个生物视觉进化的故事：

1. 最早的生物都是没有视觉的
2. 后来略微进化出一点感光细胞，有了 discriminated night and day 的能力；
3. 再后来，有了一点光源定位的能力，能够 distinguishing light from shadow；
4. 接着是进化出能够粗略认出周围物体的能力，这被认为是 the birth of stimulus-driven, bottom-up visual salience detection，到这一阶段是 blurry achromatic peripheral vision，模糊的消色的外围视觉
5. 然后，进化出 focus-sharpening lenses
6. 再然后是 foveated central vision
7. 最后才是感知 彩色 的能力，到这一步才有 high-acuity chromatic central vision，高度敏锐的彩色中央视觉

从这个故事叙述里，作者已经开始在暗示 彩色 和 高敏锐度的视觉都是在 粗略认出周围物体的能力 之后发展出来的。如果只是要模拟粗略认出周围物体的能力（这就是 Region Proposal 干的事情），那么就不需要在我们的 computational model 里面去涉及对彩色 和 高敏锐度的视觉的模拟，彩色就是彩色，高敏锐度的视觉则指的是高分辨率图像，也就是说 Region Proposal 或者 Saliency Detection 不需要在彩色高分辨率图像上做，只要 blurry achromatic peripheral vision 就可以了。

由此可见，人类 bottom-up Attention 其实有两部分构成，一部分是 blurry achromatic peripheral vision，另一部分是 high-acuity chromatic central vision。Peripheral vision 相当于 Region Proposal，负责 bottom-up visual salience detection，用来指示 the sharper, high-resolution foveated (sometimes chromatic) vision to investigate objects and regions further，由此实现了人类可以 rapidly shift foveal gaze to salient regions 的能力。但这样机制的背后，是有具体的生理基础。

总所周知，我们视网膜上的感光细胞分为视杆细胞（Rods）和视锥细胞（Cones），这两种细胞在分工、数量、分布和连接的后续细胞的数量上都有以下不同：

1. 在分工上，Rods primarily encode achromatic luminance (brightness) information；而 cones encode chrominance (color)；
2. 在分布上