人工图像特征

人工图像特征（局部/全局）

一、全局图像特征

全局图像特征是指能表示整幅图像上的特征，全局特征是相对于图像局部特征而言的，用于描述图像或目标的颜色和形状等整体特征。全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，但特征维数高、计算量大是其致命弱点。此外，全局特征描述不适用于图像混叠和有遮挡的情况。

1、颜色特征

颜色是图像的主要视觉性质之一，在人们对图像的印象中，颜色占有很大的比重。颜色特征由于具备计算简单、性能稳定等优点，现己成为图像检索系统中应用最广泛的特征之一。通常来讲，相似的图像具有相似的颜色或者灰度级分布，该分布对平移、旋转、尺度缩放具有不变性，因此可以通过颜色特征对图像进行检索。计算机通常使用RGB色彩空间描述颜色，然而，在图像检索中，人们通常采用与人类的主观感知更为接近的HSV和Lab色彩空间。常用于图像检索的颜色特征包括：直方图、累积直方图、平均灰度级等，其中，基于累积直方图的图像检索性能最优。
RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。但在科学研究一般不采用RGB颜色。空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。它是最通用的面向硬件的彩色模型。该模型用于彩色监视器和一大类彩色视频摄像。
HSV颜色空间一种面向视觉感知的颜色模型。H——色调，以角度表示；S——饱和度，V——亮度，二者取值都在 0到 1之间。HSV颜色空间袋额两大特点：亮度分量与图像的彩色信息无关；色调和饱和度分量与人感受颜色的方式是紧密相连的。HSV直接对应人眼色彩视觉特性的三要素，通道之间各自独立，可以被独立感知各颜色分量的变化，其中色调分量尤其影响人的视觉判断。在颜色处理方面是理想的坐标系，经常需要和RGB相互转换

2、纹理特征

纹理特征是指物体表面共有的内在特性，其包含了物体表面结构组织排列的重要信息及其与周围物体的联系。当检索在粗细和疏密等方面有较大差别的图像时，利用纹理特征是一种行之有效的方法。在过去的几十年中，人们对纹理的分析和研究取得了重大的成果，并在图像检索的研究中使用了各种各样的纹理特征，如：小波变换、Tamura纹理、灰度共生矩阵、纹理谱、Gabor变换等。有实验结果表明，Gabor小波能够较好地兼顾信号在时域和频域中的分辨能力，是图像检索中的最佳特征之一。
图像边缘是指图像灰度在空间上发生突变，或在梯度方向上发生突变的像素点的集合，上述突变通常是由图像中景物的物理特性发生变化而引起的.

3、形状特征

与颜色特征和纹理特征相比，形状特征更接近于目标的语义特征，包含一定的语义信息，可帮助用户忽略不相关的背景或不重要的目标，直接搜索与目标图像相似的图像。通常来讲，形状特征有以下两种表示方法：一是轮廓特征，即目标的外边界；二是区域特征，即整个形状区域。形状特征的表达以对图像中的目标或区域的分割为基础，而图像分割在当前仍是一个尚未完全解决的难题：此外，适用于图像检索的形状特征必须满足对变换、旋转和缩放的不变性，这也给形状相似性的计算带来了一定难度。因此，形状特征在图像检索中使用相对较少。

4、直方图特征

直方图特征用数学统计方法提取目标的外观特征。举例说明提取过程：对于一幅灰度图像，将灰度值从0到255等分为8个区间，然后遍历图像爱的每个像素，统计分别落入每个区间的像素的个数，最后将8个区间的像素个数除以像素总和进行归一化便得到直方图特征。
为了体现目标颜色的空间信息，可采用颜色空间二维直方图——将图像分割成若干个子区域，分别在各个子区域内统计颜色分布信息。将图像分割的块数越多越能体现目标颜色的空间信息，但是增大特征的存储空间，使跟踪心能下降。分块数目需要取合适的值。

二、局部图像特征

局部特征，就是一些局部才会出现的特征，这个局部，就是指一些能够稳定出现并且具有良好的可区分性的一些点了。这样在物体不完全受到遮挡的情况下，一些局部特征依然稳定存在，以代表这个物体（甚至这幅图像），方便接下来的分析。一方面说，如果用这些稳定出现的点来代替整幅图像，可以大大降低图像原有携带的大量信息，起到减少计算量的作用。另一方面，当物体受到干扰时，一些冗余的信息（比如颜色变化平缓的部分和直线）即使被遮挡了，依然能够从未被遮挡的特征点上还原重要的信息。好的特征应该具有以下几个特点：重复性、可区分性、数量适宜、高定位（尺度和位置）、有效性。
在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义：
角点可以是两个边缘的角点；
角点是邻域内具有两个主方向的特征点；

1、Harris角点

人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。如果在各个方向上移动这个特征的小窗口，窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点。如果这个特定的窗口在图像各个方向上移动时，窗口内图像的灰度没有发生变化，那么窗口内就不存在角点；如果窗口在某一个方向移动时，窗口内图像的灰度发生了较大的变化，而在另一些方向上没有发生变化，那么，窗口内的图像可能就是一条直线的线段。
Harris Corner是最典型的角点检测子Corner Detector。角点经常被检测在边缘的交界处、被遮挡的边缘、纹理性很强的部分。满足这些条件一般都是稳定的、重复性比较高的点，所以实际上他们是不是角点并不重要（因为目标就是找一些稳定、重复性高的点以作为特征点）。
Moravec算子，步骤如下：
1）将要判断的点置于一个33或55的图像块的中心，如下图用红色的线环绕的图像块。
2）将红色的框朝8个方向移动一格，得到蓝色的框（下图为向右上角移动）。导致一个缺点：响应是各向异性的（啥意思？）
3）将红色的框和蓝色的框的相同坐标值的点的像素值相减，并求平方和，可以得到8个值。
4）将8个值中的最小的值作为角点像素的变化值。（因为角点应该在x、y方向上变化都比较大；而在边缘上只可能一个方向大、另一个方向小）
5）求出每一个像素点的角点像素变化值，在局部图像块中，该值最大的点为角点。
Harris算子将Moravec算子做了两个推广：
1）用像素的变化梯度代替像素值相减并引入高斯窗函数（。引入高斯窗是为了滤除噪声的干扰。
2）推广出了一个公式这样可以计算任意方向上的像素值变化，而不在是8个固定的方向。

2、SURF特征

第一部分：兴趣点的检测
1.建立积分图。
优点：任何一个垂直矩形区域的面积只需要进行3次 +/-法就能计算。一阶的haar小波响应只要5次+/-法就能计算。计算的时间和区域大小无关。
2.建立图像的尺度空间(应该分别有Dxx、Dxy、Dyy 三个尺度金字塔)：
用box filters代替二阶高斯差分模板。保持图像的大小不变，对box filters进行尺度变换：建立高斯金字塔，金字塔分为多个Octaves，每个Octave分为4个Scale levels。第一级的Octave的模块大小为9、15、21、27（相差6），第二级为15、27、39、51（相差12），第三级为27、51、75、99（相差24）。每一级第一个level的大小为上一级第二个level的大小。继续建立高斯金字塔，直到filter的大小大于原图像的大小为止。尺度变换的方法，与每个Octave第一个scale level的size（L）/3有关，例如第一个Octave的L为9，L/3=9/3=3，则对于每行/列，连续出现L/3个相同的值，则再插入2个相同的值。若某连续3行同时为1，则再插入两行0。若只连续1行为1，则1*（2/3）=1（四舍五入）。插入的行/列要求左右/上下对称。
3、对于尺度空间中的每一个box filter，与图像卷积，计算每一点上的Dxx、Dyy、Dxy，再计算每一点Hessian矩阵的行列式。其中w是因为box filters只是高斯二阶差分的近似，为了使行列式的值大致相等，乘以这个权值，取0.9。注意，每Octave提高一级，计算行列式的时候，采样的间隔提高一倍。例如第一个Octave，每个点都计算，到了第二个Octave，隔一个点计算一个……（用增大模板大小，对图像上的点采样计算的方法，等同于实现对图像进行下采样并改变模板尺度的大小。）对于每一个Octave，对计算出行列式的值设一个阈值，大于该阈值的列为候选兴趣点。对候选极值点进行非极大抑制：对于该level的周围8个点以及上下scale level相应位置的92个点，一共26个点进行比较行列式的大小，若该点是周围26个点中行列式最大的，则保留。（每一个Octave的头尾两个scale level是没法计算的。）
第二部分：特征描述子
1、 主方向的确定（U-Surf没有此步骤）
s = 当前mask大小 * 1.2 / 9
以兴趣点为中心，确定6s为半径的圆。对圆内以s为步长的采样点计算haar小波响应（边长为4s）。
以兴趣点为中心，对小波响应进行高斯加权（）。对一个扇形区间（比如π/3）的水平和垂直方向的小波响应分别求和。最长矢量对应的扇形方向就是主方向。
2、 以兴趣点为中心，主方向为参考x轴方向，20s为边长，做正方形区域，并将该区域分为44个子区域。（SURF-36把它分为33个子区域，区分性略差但速度快。）每个子区域取55个采样点，计算这些采样点上的haar小波响应dx和dy。以兴趣点为中心，对响应进行高斯加权（σ=3.3s）。
3、 对每个子区域的dx、dy、|dx|、|dy|进行求和，归一化为单位向量。对于4*4个子块一共可以构成64维空间。（SURF-128在统计dx和|dx|时，把dy分为大于0时候和小于0时候两种情况，而在统计dy和|dy|时将dx分为大于0和小于0两种情况，这样每个子区域是8维向量）。
SIFT/SURF为了实现不同图像中相同场景的匹配，主要包括三个步骤：
1、尺度空间的建立；
2、特征点的提取；
3、利用特征点周围邻域的信息生成特征描述子
4、特征点匹配。
如果两幅图像中的物体一般只是旋转和缩放的关系，加上图像的亮度及对比度的不同，要在这些条件下要实现物体之间的匹配，SIFT算法的先驱及其发明者想到只要找到多于三对物体间的匹配点就可以通过射影几何的理论建立它们的一一对应。
如何找到这样的匹配点呢？SIFT/SURF作者的想法是首先找到图像中的一些“稳定点”，这些点是一些特殊的点，不会因为视角的改变、光照的变化、噪音的干扰而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。这样如果两幅图像中有相同的景物，那么这些稳定点就会在两幅图像的相同景物上同时出现，这样就能实现匹配。因此，SIFT/SURF算法的基础是稳定点。
SIFT/SURF提取的稳定点，首先都要求是局部极值。但是，当两个物体的大小比例不一样时，大图像的局部极值点在小图像的对应位置上有可能不是极值点。于是SIFT/SURF都采用图像金字塔的方法，每一个截面与原图像相似，这样两个金字塔中就有可能包含大小最近似的两个截面了。
这样找到的特征点会比较多，经过一些处理后滤掉一些相对不稳定的点。