阅读小结:Fine-Grained Recognition with Automatic and Efficient Part Attention

原创 2016年12月11日 17:12:56

这是一篇baidu research的paper。

主题为细力度分类。这个问题在于找到一些关键的细节。比如在鸟类数据集CUB上,专家往往也是通过鸟的尾巴,或者头部来对鸟类分类的。


What:

预测细力度分类的CNN+MDP的网络。

1. 融合了三个元素: 特征提取,attetion 和细力度分类一起训练。(比如有些之前paper是把attetion part额外切割出来的。如鸟的头部专门train个CNN。最后多个model fusion)

2. 使用了弱监督的增强学习(reinforcelearning),不需要额外的标注信息。(比如语义分割信息)

3. 全卷积网络提升了训练和测试速度。

4.贪心的奖励策略加速了收敛。


读前疑问:

1.最后怎么结合reinforce learning的?

其实attention的选择可以看成马尔科夫决策过程中的action(我选择哪个atttention去看)

最后的reward为分类结果的好坏。





How:

模型分为3个部分

1. Feature Map Extraction:

在训练时复用了feature map(后面叉出来的3路,用的所有map都是之前map上的crop,而非原始图上的crop)

而在测试时图像和所有的attention crop都会resize到一个指定尺寸。

2. Part Attention

这部分将原始输入,转为了single channel的图片,做了softmax 将activation都转为[0,1]之间的值。视为part的置信度。

在测试中模型选择有最高probability的区域(图中小白点)作为part location。而在训练过程中模型采样了多次。

3.细力度分类

每一个patch都有一个cnn负责。随后为softmax。

在测试中,最后prediction为softmax结果的average,再取最大。


4.训练过程中优化目标


函数2 前半段是最大化奖励R  后半段实际上就是原来的分类误差L最小。

R可以由   选这个attention概率乘对应的reward得到


看下面这张图比较清晰。



5.reward大小的策略

如果上一个判断对了,马上就reward 1。

如果这次对了,上次分类的objective比这次大(也就是上次判断得不好),也reward1.

否则是 0.



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

神经网络的交叉熵损失函数

常见损失函数 0-1损失函数 L(Y,f(X))={1,0Y != f(X)Y = f(X)L(Y,f(X))=\begin{cases}1,& \text{Y != f(X)}\\0& \text...

《剑指offer》刷题笔记(发散思维能力):求1+2+3+...+n

《剑指offer》刷题笔记(发散思维能力):求1+2+3+…+n 转载请注明作者和出处:http://blog.csdn.net/u011475210 代码地址:https://github.com/...

论文阅读(3)--SPDA-CNN: Unifying Semantic Part Detection and Abstraction for Fine-grained Recognition

这篇文章是来自罗格斯大学的Han Zhang等人的工作。由题目可知与上一篇文章一样,本文的作者也关注到了富有语义的局部(利用Part,Part,Part,重要事情强调三遍),作者不满足于CUB-201...
  • lc013
  • lc013
  • 2016年10月10日 21:37
  • 985

论文阅读笔记 SPDA-CNN: Unifying Semantic Part Detection and Abstraction for Fine-grained Recognition

这篇论文来自美国罗格斯大学的 Han Zhang, CVPR2016 1. 简介          相比于一般的目标识别,细粒度识别具有更大的挑战性。其原因是由于姿态与视角的不同,不同图像之间微小...

SPDA-CNN:Unifying Semantic Part Detectiojn and Abstraction for Fine-grained Recognition

这是2016年发表在CVPR中的一篇有关细粒度分类的文章 1. 引入: 1).细粒度分类的挑战性:微小的视觉差异可能会被其他的因素(如视角、角度等)遮掩。 2).最近有一些CNN-SVM框...

阅读小结:The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition

The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition paper link: http://cn.arx...

细粒度图像识别Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classificatio

本文介绍了17年4月在arxiv上的一篇细粒度图像识别文章,由清华大学的Yuxin Peng等人撰写,采用的是弱监督识别方法,准确率达到了最高。...
  • Cyiano
  • Cyiano
  • 2017年05月14日 21:16
  • 1310

论文阅读笔记 Picking Deep Filter Responses for Fine-grained Image Recognition

原论文: Picking Deep Filter Responses for Fine-grained Image Recognition   (2016CVPR) 作者是上海交通大学的 Xiaope...

论文阅读(2)--Picking Deep Filter Responses for Fine-grained Image Recognition

这次阅读的文章是Picking Deep Filter Responses for Fine-grained Image Recognition,这篇文章是来自上海交通大学Xiaopeng Zhang...
  • lc013
  • lc013
  • 2016年10月08日 22:56
  • 1235

细粒度图像识别文章 Picking Deep Filter Responses for Fine-grained Image Recognition 阅读笔记

细粒度图像识别指的是在一个大类中的数个子类进行识别(例如识别不同鸟类的种类),人们通常需要专业的知识才能达到很高的准确率,而普通的图像分类网络在细粒度图像识别方面也是表现欠佳。本博客讲解了一篇CVPR...
  • Cyiano
  • Cyiano
  • 2017年05月11日 14:45
  • 905
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:阅读小结:Fine-Grained Recognition with Automatic and Efficient Part Attention
举报原因:
原因补充:

(最多只允许输入30个字)