关闭

阅读小结:Fine-Grained Recognition with Automatic and Efficient Part Attention

标签: 细力度分类CNNPart Attention
809人阅读 评论(2) 收藏 举报
分类:

这是一篇baidu research的paper。

主题为细力度分类。这个问题在于找到一些关键的细节。比如在鸟类数据集CUB上,专家往往也是通过鸟的尾巴,或者头部来对鸟类分类的。


What:

预测细力度分类的CNN+MDP的网络。

1. 融合了三个元素: 特征提取,attetion 和细力度分类一起训练。(比如有些之前paper是把attetion part额外切割出来的。如鸟的头部专门train个CNN。最后多个model fusion)

2. 使用了弱监督的增强学习(reinforcelearning),不需要额外的标注信息。(比如语义分割信息)

3. 全卷积网络提升了训练和测试速度。

4.贪心的奖励策略加速了收敛。


读前疑问:

1.最后怎么结合reinforce learning的?

其实attention的选择可以看成马尔科夫决策过程中的action(我选择哪个atttention去看)

最后的reward为分类结果的好坏。





How:

模型分为3个部分

1. Feature Map Extraction:

在训练时复用了feature map(后面叉出来的3路,用的所有map都是之前map上的crop,而非原始图上的crop)

而在测试时图像和所有的attention crop都会resize到一个指定尺寸。

2. Part Attention

这部分将原始输入,转为了single channel的图片,做了softmax 将activation都转为[0,1]之间的值。视为part的置信度。

在测试中模型选择有最高probability的区域(图中小白点)作为part location。而在训练过程中模型采样了多次。

3.细力度分类

每一个patch都有一个cnn负责。随后为softmax。

在测试中,最后prediction为softmax结果的average,再取最大。


4.训练过程中优化目标


函数2 前半段是最大化奖励R  后半段实际上就是原来的分类误差L最小。

R可以由   选这个attention概率乘对应的reward得到


看下面这张图比较清晰。



5.reward大小的策略

如果上一个判断对了,马上就reward 1。

如果这次对了,上次分类的objective比这次大(也就是上次判断得不好),也reward1.

否则是 0.



0
0
查看评论

Fine-Grained Recognition with Automatic and Efficient Part Attention

论文出处:2016年CVPR 作者单位:Baidu Research 细粒度分类的挑战在于较小的类间差异VS较大的类间差异。因此解决这个问题的关键在于定位判别性的位置并提取pose-invariant 特征。本文提出了一种全卷积注意力模型(Fully Convolutional Attentio...
  • xiaoyushares
  • xiaoyushares
  • 2017-03-20 08:13
  • 108

The Application of Two-level Attention Models in CNN for Fine-grained Image Classification

这篇文章主要讲细粒度分类问题。普通的分类问题是类间差距较大,例如将一幅图像分类为猫或狗。不同于普通分类,细粒度分类问题类与类之间差异很小,比如将鸟按品种分类。两个不同品种的鸟之间的差异可能仅仅在于鸟的眼睛,嘴巴,腿等部位,其他部位区分度很小。这也造成了细粒度分类问题比普通分类问题难。自深度学习发展以...
  • u010772289
  • u010772289
  • 2016-11-07 19:50
  • 414

阅读小结:The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition

The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition paper link: http://cn.arxiv.org/pdf/1511.06789.pdf What: 同上一篇一样,这也是一...
  • Layumi1993
  • Layumi1993
  • 2016-12-12 15:42
  • 714

SPDA-CNN:Unifying Semantic Part Detection and Abstraction for Fine-grained Recognition

SPDA-CNN:联合语义检测和提取用以细粒度识别 最近在做细粒度分类和研读CVPR2016结果,看到这篇文章。做个笔记,方便自己回顾和与大家讨论。 1.摘要及引言多数的卷积神经网络缺少能够model目标中层语义特征的层。诸如在常见鸟类目标分类任务中,通常卷积神经网络的低层为一些线、边等初级特征。...
  • u011587569
  • u011587569
  • 2016-07-29 22:13
  • 926

论文阅读(4)--Part-Stacked CNN for Fine-Grained Visual Categorization

这篇文章是来自悉尼科技大学Shaoli Huang等人的工作,与前两篇文章的出发点类似,本篇文章也是在Parts上寻找Fine-Grained的线索,但与前两篇文章相比,在框架中人工的参与更少。
  • lc013
  • lc013
  • 2016-10-12 15:31
  • 1729

论文笔记:Two-level attention model for fine-grained Image classification

The Application of Two-level Attention Models in Deep Convolutional Neural Network for Fine-grained Image Classification(细粒度图像识别)原文链接:paper 我先来总结一下这篇...
  • baidu_17806763
  • baidu_17806763
  • 2017-04-17 15:59
  • 2084

Efficient object detection and segmentation forfine-grained recognition

用于细粒度识别的高效物体检测和分割 摘要 我们提出一种用于细粒度识别的检测和分割算法。该算法首先检测可能包含物体的低级区域然后通过传播分割出整个物体。除了分割物体外,我们也可以缩放物体,如将其移动到图像中心,缩放归一化,从而降低背景的影响。随后,我们证明了联合该方法和最先进的分类算法能够明显改善分类...
  • todayq
  • todayq
  • 2013-11-06 17:53
  • 1355

多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”

精细图像分类需要大量样本标记,但有些样本不容易标记。论文使用容易标记的样本,研究domain adaptation解决易获取样本与自然场景样本数据集转换的问题。这其中多任务的属性学习被用来提升性能。论文要解决的问题示例,先获取有标记的样本,实际应用的场景有少许样本有标记,使用domain adapt...
  • cv_family_z
  • cv_family_z
  • 2017-11-02 16:26
  • 330

Automatic Speech Recognition(ASR) 学习资源

Courses: 1.EECS E6870 — Fall 2012 Speech Recognition 2.CSE 6328 SPEECH AND LANGUAGE PROCESSING (FALL 2012) 开源工具(C/C++): 1. HTK (较久远,早已不更新,) 2.kaldi...
  • LiFeitengup
  • LiFeitengup
  • 2014-03-10 15:24
  • 3855

Fine-Grained Crowdsourcing for Fine-Grained Recognition(精读)

一.文献名字和作者      Fine-Grained Crowdsourcing for Fine-Grained Recognition, Jia Deng, Jonathan Krause, Li Fei-Fei, CVPR2013   &...
  • shengno1
  • shengno1
  • 2014-11-26 19:36
  • 1369
    个人资料
    • 访问:76951次
    • 积分:1155
    • 等级:
    • 排名:千里之外
    • 原创:33篇
    • 转载:0篇
    • 译文:3篇
    • 评论:45条
    文章分类
    关于我