计算机科学与技术视觉,图像视觉特征提取-天津大学计算机科学与技术学院.PDF...

图像视觉特征提取-天津大学计算机科学与技术学院

图像视觉特征提取

颜色、纹理、形状与视觉单词

韩亚洪

天津大学计算机科学与技术学院

Resources: /faculty/hanyahong/ComputerVision/

Email: hanyahong@

Content-based Image Retrieval (CBIR)

在多媒体搜索中为什么特征很重要

Content-based Image Retrieval (CBIR)

为什么特征很重要

Content-based Image Retrieval (CBIR)

 特征提取

 特征选择(稀疏性选择)

 特征表达(向量、矩阵、张量、图)

 特征融合

 不同种类特征相似度学习(Cross-modal metric

learning )

 特征降维与流形学习(线性、非线性、反映非

线性特点的线性降维)

 … 4

Content-based Image Retrieval (CBIR)

为什么特征很重要

颜色特征

图像视觉特征

 图像特征指的是能够用来表征图像所蕴含语义

的属性数据,这些属性数据用来代表图像本身,

参与后续的分析与处理等计算过程

 图像特征的分类

 像素点(保存了原始图像足够多信息)

 全局特征(对图像全局操作后得到属性信息)

 局部特征(对图像局部操作后得到的属性信息)

7

图像视觉特征

 通用的视觉特征和领域相关的视觉特征

 前者用于描述所有图像共有的特征，与图像的具体类型

或内容无关，主要包括色彩、纹理和形状；

 后者则建立在对所描述图像内容的某些先验知识(或假

设)的基础上，与具体的应用紧密有关，例如人的面部

特征或指纹特征等。

 由于图像的内容是通过特征来描述的，并且影响了后继

相似度比较，因此，视觉特征选取十分重要，要根据不

同应用进行选择。

图像视觉特征

 文本目前也成为图像中一种重要的特征。这些文本标签信息

成为我们理解图像语义的关键上下文属性而被广泛研究。

 由于对图像伴随文本特征的提取，在基于文本的图像特征提

取在数据库系统和信息检索等领域中已有深入的研究，因此

这里主要介绍图像视觉特征的提取和表达。

截止2010年7月，Flickr有50亿张图像

 图像标注词条过亿，涵盖千万多种概念

 每分钟新增4000张图像

 吸引了2%的互联网用户

如何使用图像视觉特征

 Extraction: 特征提取

 可以从图像中提取哪些特征。这些特征在表达图像视觉方面各

自的优势/劣势是什么？如目前的稀疏表达算法要解决的问题。

 Representation:特征表达

 从图像中提取得到的视觉特征如何去表达？是向量模型，还是

图模型？还是在降维后的子空间表达？

如何使用图像视觉特征

 Discrimination: 区别性特征选择

 不同特征在表达不同语义/对象时所起得作用不同，如何根据一

定的准则，将某一语义/对象所对应的区别性特征挑选出来？

 Indexing: 特征索引

 为了在图像后续处理中提高其利用效率(如重复性检测等)，

如何将高维图像特征映射到汉明(Hamming )二元空间，且保