阅读小结:Fine-Grained Recognition with Automatic and Efficient Part Attention

这是一篇baidu research的paper。

主题为细力度分类。这个问题在于找到一些关键的细节。比如在鸟类数据集CUB上,专家往往也是通过鸟的尾巴,或者头部来对鸟类分类的。


What:

预测细力度分类的CNN+MDP的网络。

1. 融合了三个元素: 特征提取,attetion 和细力度分类一起训练。(比如有些之前paper是把attetion part额外切割出来的。如鸟的头部专门train个CNN。最后多个model fusion)

2. 使用了弱监督的增强学习(reinforcelearning),不需要额外的标注信息。(比如语义分割信息)

3. 全卷积网络提升了训练和测试速度。

4.贪心的奖励策略加速了收敛。


读前疑问:

1.最后怎么结合reinforce learning的?

其实attention的选择可以看成马尔科夫决策过程中的action(我选择哪个atttention去看)

最后的reward为分类结果的好坏。





How:

模型分为3个部分

1. Feature Map Extraction:

在训练时复用了feature map(后面叉出来的3路,用的所有map都是之前map上的crop,而非原始图上的crop)

而在测试时图像和所有的attention crop都会resize到一个指定尺寸。

2. Part Attention

这部分将原始输入,转为了single channel的图片,做了softmax 将activation都转为[0,1]之间的值。视为part的置信度。

在测试中模型选择有最高probability的区域(图中小白点)作为part location。而在训练过程中模型采样了多次。

3.细力度分类

每一个patch都有一个cnn负责。随后为softmax。

在测试中,最后prediction为softmax结果的average,再取最大。


4.训练过程中优化目标


函数2 前半段是最大化奖励R  后半段实际上就是原来的分类误差L最小。

R可以由   选这个attention概率乘对应的reward得到


看下面这张图比较清晰。



5.reward大小的策略

如果上一个判断对了,马上就reward 1。

如果这次对了,上次分类的objective比这次大(也就是上次判断得不好),也reward1.

否则是 0.



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Layumi1993

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值