论文笔记：Look and Think Twice

Look and Think Twice: Capturing Top-Down Visual Attention with Feedback Convolutional Neural Networks

---

摘要
在计算机视觉领域反馈型深度卷积神经网络取得了巨大的成功。但是人类的视网膜反馈明显比正馈能包含更多的连接。在本篇文章中引进了背景反馈信息，能够激励我们发展计算反馈机制。此外，在传统神经网络中的前馈中，反馈用来推测隐藏卷积层的激活状态根据网络的目标。我们把这个方法称为look and think twice. 反馈网络能够帮助我们更好的可视化和理解神经网络的工作原理，捕捉到期待物体的注意力信息，即使在背景比较复杂包含多个物体的情况下。该实验在ImageNet数据集上分类和定位任务表现出了良好的有效性。

上面那段话可能比价难懂，主要意思就是，人类在看一张图片的时候，可能第一眼看过去也看不到某些信息，但是根据第一次看到的结果，再仔细看的时候，就能发现一些明显的隐藏信息在第一眼的时候被忽略了，而神经网络也是一样，在传递的过程中也会忽略一些信息，而增加反馈机制，就能提高网络解决实际分类和定位的问题的有效性。

这篇论文，质量应该不错，要好好看看

引言

本文提出一种新颖了反馈卷积神经网络结构。它通过集合类别节点的输出和隐层网络的激活函数实现了这种可选择性。
Feedback Loop 优化
从机器学习的角度来说，提出的这个反馈网络给卷及网络增加了额外的灵活性，从而帮助其获得visual attention以及提高特征检测的能力。我们利用一个简单有效的方法来优化图像成分并且给神经元激活给定的目标在视觉搜索的时候。这个算法能够最大化网络的后响应，这个网络被给予了高层次的语义信息，用一种自顶而下的方式。跟普通卷及网络相比，该方法具有极大的灵活性。
灵活性体现在，这个方法能够把图像中的多个物体识别出来而不是告诉我们这个图片是个连环画。这个反馈网络能够达到一定程度的选择性并且提供在推理过程中的对不相关节点的镇压，允许模型将注意力集中在具备最显著信息的图片区域。
弱监督物体定位
本文不适用大量的监督信息，同时也不需要训练阶段的任何的定位信息。取而代之的是，我们采用了一个联合网络能够同时进行识别和定位&#x