特征表达与特征提取资料整理

最新推荐文章于 2023-09-28 17:24:20 发布

Shannon1997

最新推荐文章于 2023-09-28 17:24:20 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/Shannon_1997/article/details/100127294

版权

主要有6类：颜色、纹理、形状、空间关系、尺度、深度学习

图像处理的另一个主要分支是图像理解，图像理解的关键是图像特征提取，图像理解与分析的过程可以看做是一个信息提取过程，从图像中提取有用的数据、信息或度量，生成描述或表示。图像的特征分析是图像理解的基础之一，通过对图像的特征提取和表达，提取图像所包含的原始属性或特性，从而为图像分析或识别奠定基础。图像特征是指图像的原始特性或属性，可以分为视觉特征或统计特征。视觉特征主要是人的视觉直觉感受的自然特征（如图像的颜色、纹理和形状）；统计特征是指需要通过变换或测量才能得到的人为特征（如频谱、直方图等）。

一、颜色特征

颜色特征属于图像的内部特征，描述了图像或图像区域所对应景物的表面性质。颜色特征与其他视觉特征相比，它对图像的尺寸、方向、视角等变化不敏感，因此颜色特征被广泛应用于图像识别。

面向图像检索的颜色特征的表达涉及到若干问题。首先，我们需要选择合适的颜色空间来描述颜色特征；其次，我们要采用一定的量化方法将颜色特征表达为向量的形式；最后，还要定义一种相似度（距离）标准用来衡量图像之间在颜色上的相似性。在本节中，我们将主要讨论前两个问题，并介绍颜色直方图、颜色矩、颜色集、颜色聚合向量以及颜色相关图等颜色特征的表示方法。

（1）颜色直方图

颜色直方图是在许多图像处理，例如图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。

说明：

① 颜色直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是RGB颜色空间，原因在于大部分的数字图像都是用这种颜色空间表达的。

RGB空间结构并不符合人们对颜色相似性的主观判断。因此，有人提出了基于HSV空间、Luv空间和Lab空间的颜色直方图，因为它们更接近于人们对颜色的主观认识。其中HSV空间是直方图最常用的颜色空间。它的三个分量分别代表色彩（Hue）、饱和度（Saturation）和值（Value）。

② 计算颜色直方图的方法

STEP1:需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin。这个过程称为颜色量化（color quantization）。

STEP2:通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。

③ 扩展知识：颜色量化有许多方法，例如向量量化、聚类方法或者神经网络方法。最为常用的做法是将颜色空间的各个分量（维度）均匀地进行划分。相比之下，聚类算法则会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些bin中的像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是RGB格式而直方图是HSV空间中的，我们可以预先建立从量化的RGB空间到量化的HSV空间之间的查找表（look-up table），从而加快直方图的计算过程。

④ 存在问题：颜色量化方法会产生一定的问题。

设想两幅图像的颜色直方图几乎相同，只是互相错开了一个bin，这时如果我们采用L1距离或者欧拉距离（见3.1.1节）计算两者的相似度，会得到很小的相似度值。为了克服这个缺陷，需要考虑到相似但不相同的颜色之间的相似度。一种方法是采用二次式距离[4]（见3.1.3节）。另一种方法是对颜色直方图事先进行平滑过滤，即每个bin中的像素对于相邻的几个bin也有贡献。这样，相似但不相同颜色之间的相似度对直方图的相似度也有所贡献。

选择合适的颜色小区间（即直方图的bin）数目和颜色量化方法与具体应用的性能和效率要求有关。一般来说，颜色小区间的数目越多，直方图对颜色的分辨能力就越强。然而，bin的数目很大的颜色直方图不但会增加计算负担，也不利于在大型图像库中建立索引。而且对于某些应用来说，使用非常精细的颜色空间划分方法不一定能够提高检索效果，特别是对于不能容忍对相关图像错漏的那些应用。另一种有效减少直方图bin的数目的办法是只选用那些数值最大（即像素数目最多）的bin来构造图像特征，因为这些表示主要颜色的bin能够表达图像中大部分像素的颜色。实验证明这种方法并不会降低颜色直方图的检索效果。事实上，由于忽略了那些数值较小的bin，颜色直方图对噪声的敏感程度降低了，有时会使检索效果更好。

（2）颜色矩

颜色矩是以数字方法为基础的，通过计算矩来描述颜色的分布。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对特征进行向量化。因此，图像的颜色矩一共只需要9个分量（3个颜色分量，每个分量上3个低阶矩），与其他的颜色特征相比是非常简洁的。在实际应用中为避免低次矩较弱的分辨能力，颜色矩常和其它特征结合使用，而且一般在使用其它特征前起到过滤缩小范围（narrow down）的作用。

（3）颜色集

为支持大规模图像库中的快速查找，Smith和Chang提出了用颜色集（color sets）作为对颜色直方图的一种近似。他们首先将RGB颜色空间转化成视觉均衡的颜色空间（如HSV空间），并将颜色空间量化成若干个bin。然后，他们用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系（包括区域的分离、包含、交等，每种对应于不同得评分）。因为颜色集表达为二进制的特征向量，可以构造二分查找树来加快检索速度，这对于大规模的图像集合十分有利。

（4）颜色相关图

颜色相关图（color correlogram）是图像颜色分布的另一种表达方式[16]。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效率，特别是查询空间关系一致的图像。

如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大(空间复杂度为O(N2d))。一种简化的变种是颜色自动相关图（color auto-correlogram），它仅仅考察具有相同颜色的像素间的空间关系，因此空间复杂度降到O(Nd)。

二、纹理特征