Machine Vision Technology:Lecture9 Recognition | bag of features

计算机视觉(本科) 北京邮电大学 鲁鹏


  • Introduction to object recognition
    • Representation
    • Learning
    • Recognition
  • Bag of Words models
    • Basic representation
    • Different learning and recognition algorithms

the different visual recognition tasks

  • Classification:

Does this image contain a building? Is this an beach? [yes/no]

在这里插入图片描述

  • Image Search & Organizing photo collections

  • Detection:

Does this image contain a car? [where?]

在这里插入图片描述

Which object does this image contain? [where?]

在这里插入图片描述

Accurate localization (segmentation) :

在这里插入图片描述

Estimating object semantic & geometric attributes 估计对象的语义和几何属性

在这里插入图片描述

Applications of computer vision

  • Computational photography 计算摄影:利用数字运算而非传统光学过程的数字图像拍摄。提高相机性能,减少成本和尺寸,生成3D图像、增强景深和选择性散焦等。

在这里插入图片描述

  • Surveillance 监测监控

在这里插入图片描述

  • Assistive driving 辅助驾驶

在这里插入图片描述

Categorization vs Single instance recognition

区分类别分类和单一实例识别。

The Goals of Visual Recognition

  • Design algorithms that are capable to
    • Classify images or videos
    • Detect and localize objects
    • Estimate semantic and geometrical attributes
    • Classify human activities and events

The Challenges of Visual Recognition

  • viewpoint variation 视角变化
    在这里插入图片描述

  • illumination 光照影响
    在这里插入图片描述

  • scale 尺度影响

在这里插入图片描述
在这里插入图片描述

  • deformation 形变

  • occlusion 遮挡

在这里插入图片描述

  • background clutter 背景杂波

在这里插入图片描述

  • intra-class variation 类内变化

在这里插入图片描述

Basic issues

  • Representation

    • How to represent an object category; which classification scheme?
  • Learning

    • How to learn the classifier, given training data
  • Recognition

    • How the classifier is to be used on novel data

Representation

  • 提取区域:Building blocks: Sampling strategies 构建模块:抽样策略

提取点特征的算子称为兴趣算子或有利算子(Interest Operator),比较经典的有 Moravec 算子、Forstner 算子以及 Harris 算子等。

在这里插入图片描述

  • 数据组织:Appearance only or location and appearance 仅外观或位置和外观

在这里插入图片描述

  • Invariances for the challenges of Visual Recognition

To handle intra-class variability, it is convenient to describe an object categories using probabilistic models 为了处理类内的可变性,使用概率模型来描述对象类别是很方便的

Object models: Generative vs Discriminative vs hybrid 对象模型:生成型、判别型和混合型

  • Object categorization: the statistical viewpoint 对象分类:统计学观点

在这里插入图片描述

Discriminative methods model posterior

Generative methods model likelihood and prior

  • Discriminative models

在这里插入图片描述
在这里插入图片描述

  • Generative models

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Learning

在这里插入图片描述

Recognition

  • Recognition task: classification, detection, etc. .

在这里插入图片描述

  • Search strategy: Sliding Windows
    • Simple
    • Computational complexity ( x, y, S, θ, N of classes)
      • BSW by Lampert et al 08
      • Also, Alexe, et al 10
    • Localization
      • Objects are not boxes
      • Prone to false positive

在这里插入图片描述

Bag-of-features models

在这里插入图片描述

Origin 1: Texture recognition

Origin 2: Bag-of-words models

Orderless document representation: frequencies of words from a dictionary 无序文档表示: 字典中单词的频率


Bag-of-features steps

在这里插入图片描述

  • 1.Extract features : Regular grid or interest regions

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 2.Learn “visual vocabulary”

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Example codebook:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 3.Represent images by frequencies of “visual words”

在这里插入图片描述

Spatial pyramid representation 空间金字塔表示

Extension of a bag of features : Locally orderless representation at several levels of resolution

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
不同层级的向量合并起来构成更多维,即是两幅图像的level0相同,在更细的层次上level1可能不同。

HW

4.27 - 5.26
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shlyyy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值