FGVC---Look Closer to See Better:RACNN阅读笔记

Look Closer to See Better: Recurrent Attention Convolutional Neural Network
for Fine-grained Image Recognition论文链接

• RACNN源码：https://github.com/jeong-tae/RACNN-pytorch
  – a mobilenet version of RACNN.

参考网文：
RA-CNN算法笔记
Look Closer to See Better——细粒度分类
论文学习17“Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained
Look Closer to See Better 阅读笔记
CVPR2017oral注意力模型RA-CNN简析
Recurrent-Attention-CNN.zip 源码下载
注意力模型RPN（faster-rcnn）与APN(RA-CNN）对比精析

APN网络

说的很复杂，其实就是一个crop操作，为了让crop可导引入了一个近似的mask函数。（猜测TensorFlow中的tf.image.crop函数就是这样做的(^▽)）

Loss:

a. intra-scale classification loss
b. inter-scale pairwise ranking loss​

第一部分是Lcls,也就是classification loss.
Y(s)表示预测的类别概率,Y*表示真实类别.

第二部分是pairwise ranking loss:​

pt(s): prediction probability on the correct category labels t.
从Lrank损失函数可以看出,当更后面的scale网络的pt大于相邻的前面的scale网络的pt时,损失较小.
通俗讲模型的训练目标是希望更后面的scale网络的预测更准。
这个函数其实就是LERU函数，是分段可导的。.

mark一下：这句话的意思是指训练会迫使Pt(s+1)会朝着比Pt(s)更大的方向去优化。
PS:并不是说一开始就强制Lrank=0（如此会无法优化的）

缺点启示：

RA-CNN是学循环注意力，关注一个点，姊妹篇MA-CNN呢，是关注多个点。相较而言，一个图片多个注意力点才比较适合真实场景。两篇文章可以合二为一搞，就更接近真实的业务需求了。不过那样的话计算量大，收敛慢，但这不正是出paper的切入点么。