关闭

论文阅读笔记 SPDA-CNN: Unifying Semantic Part Detection and Abstraction for Fine-grained Recognition

标签: 深度学习细粒度图像识别
244人阅读 评论(0) 收藏 举报

这篇论文来自美国罗格斯大学的 Han Zhang, CVPR2016

1. 简介

         相比于一般的目标识别,细粒度识别具有更大的挑战性。其原因是由于姿态与视角的不同,不同图像之间微小的差异很容易被掩盖。一个直观的思路就是,利用目标的 part  去区分不同的子类。当前,一些 state-of-the-art 的方法都是利用 CNN 去检测 目标的 part regions。 但这些方法都只利用了目标的一些大的 part (比如鸟的头和身体),一些更小的语义 part 却被忽视了(比如,鸟的尾巴和翅膀)。(For example, on the CUB-2011 bird dataset, both methods only localized the head and body, i.e., large parts, and they did not utilize other smaller parts such as the tail and wings although these parts can be very useful for recognition)。对于细粒度图像识别,基于part 的CNN方法(part-based CNN methods)一般做法是:单独地为每一个part 训练一个CNN网络,然后从每个part中提取CNN特征,并将他们级联成一个很长的矢量,最后用这个特征矢量去训练一个分类器(比如SVM)。其中,每个part的CNN的结构是相同的,参数也是共享的。然而,这中方法有几个不足之处:(1)训练和测试是多步骤的处理;(2)限制了整个结构去学习不同part之间的相关性。

        为了解决上面提到的问题,作者提出了一种嵌入了中层part的抽象层(mid-level part abstraction layers)的CNN网络。这个网络主要由两个子网络组成:检测子网络(detection sub-network)   和 分类子网络(recognition sub-network)。

       三个创新点:(1)对于检测子网络,提出了一种新的上-下的方法来生成多个语义part的候选集(A novel top-down proposal method is designed to generate small semantic part candidates for multiple semantic parts detection);(2)对于识别子网络,提出了一种新的基于part层(A new type of part-based layers is proposed in the recognition subnetwork, which provides an abstraction of small semantic parts, extracts part-based features and combines them for recognition.);(3)联合了part的检测是识别,提出了一个端到端的网络结构(We further integrate the part detection and part-based recognition sub-networks into a unified architecture to form an end-to-end system for fine-grained classification)。


2. 网络结构

        整个网络结构如下图所以,它由检测子网络和识别子网络组成,下面将分别介绍。



2.1  Part Detection Sub-network

      2.1.1 生成带几何约束的part proposals  (Geometrically-constrained Top-down Region Proposals for Small Semantic Parts)

             作者提出的这个生成part proposal的方法 与K-NN类似。首先,给定一个图像,计算 bounding box of object 的 histograms of oriented gradients (HOG特征),基于HOG特征,然后再从训练集中检索出K个最近邻的图像,每个领域图像的part regions 被等比例缩放到和输入的图像一样大小,得到变换后的part bounding boxes,如B = [b11, ..., b1m, b21, ..., b2m, ..., bk1, ..., bkm],m表示每个object中part的个数。为了从变换后的part bounding boxes 生成part region proposals,还需要加入两类先验信息:(1)Strong prior;(2) Weak prior;其区别在于是否考虑part class label and part geometric constraints。

      2.1.2 基于Farst-RCNN的part 检测(Fast RCNN based Part Detection)

          由上一步可以得到很多个part proposals,作者再利用Fast RCNN 去对每个proposal 进行回归处理,并得到其part label信息。


2.2 Part Abstraction and Classification

      这个子网络主要将semantic part 信息加入到一个CNN的分类网络中,分别提取各个semantic part的特征,最后级联成特征矢量。具体细节参考原文吧。






0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

CVPR 2016 摘要阅读

为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Mond...
  • yutingzhaomeng
  • yutingzhaomeng
  • 2016-08-02 15:57
  • 8488

CVPR2015一些文章整理

简单看了一部分CVPR2015的文章。整理了一下
  • jiang1st2010
  • jiang1st2010
  • 2015-07-16 20:26
  • 14118

CVPR2017论文分类汇总

Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View Subspace Clusteri...
  • LK274857347
  • LK274857347
  • 2017-08-08 11:30
  • 6182

论文阅读(3)--SPDA-CNN: Unifying Semantic Part Detection and Abstraction for Fine-grained Recognition

这篇文章是来自罗格斯大学的Han Zhang等人的工作。由题目可知与上一篇文章一样,本文的作者也关注到了富有语义的局部(利用Part,Part,Part,重要事情强调三遍),作者不满足于CUB-201...
  • lc013
  • lc013
  • 2016-10-10 21:37
  • 1114

SPDA-CNN:Unifying Semantic Part Detectiojn and Abstraction for Fine-grained Recognition

这是2016年发表在CVPR中的一篇有关细粒度分类的文章 1. 引入: 1).细粒度分类的挑战性:微小的视觉差异可能会被其他的因素(如视角、角度等)遮掩。 2).最近有一些CNN-SVM框...
  • u010772289
  • u010772289
  • 2016-12-06 18:33
  • 399

论文阅读(4)--Part-Stacked CNN for Fine-Grained Visual Categorization

这篇文章是来自悉尼科技大学Shaoli Huang等人的工作,与前两篇文章的出发点类似,本篇文章也是在Parts上寻找Fine-Grained的线索,但与前两篇文章相比,在框架中人工的参与更少。
  • lc013
  • lc013
  • 2016-10-12 15:31
  • 1673

论文阅读笔记 Picking Deep Filter Responses for Fine-grained Image Recognition

原论文: Picking Deep Filter Responses for Fine-grained Image Recognition   (2016CVPR) 作者是上海交通大学的 Xiaope...
  • sowe_min
  • sowe_min
  • 2017-05-20 10:54
  • 269

R-CNN论文笔记《Rich feature hierarchical for accurate object detection and semantic segmentation》

R-CNN 论文学习笔记
  • u013078356
  • u013078356
  • 2016-03-10 19:54
  • 1378

目标检测 R-CNN 论文笔记(Rich feature hierarchies for accurate object detection and semantic segmentation)

目标识别与检测数据库:PASCAL VOC在12年以前一直进展缓慢,一些新提出的优化方法只是把之前的方法线性地结合在一起。Ross Girshick提出的R-CNN直接将识别准确率提高了30%。作者主...
  • Cyiano
  • Cyiano
  • 2017-04-10 15:48
  • 1232

阅读小结:Fine-Grained Recognition with Automatic and Efficient Part Attention

这是一篇baidu research的paper。 主题为细力度分类。这个问题在于找到一些关键的细节。比如在鸟类数据集CUB上,专家往往也是通过鸟的尾巴,或者头部来对鸟类分类的。 What: 预测...
  • Layumi1993
  • Layumi1993
  • 2016-12-11 17:12
  • 752
    个人资料
    • 访问:514次
    • 积分:28
    • 等级:
    • 排名:千里之外
    • 原创:2篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章存档