计算机视觉:图像特征与描述

1、颜色特征：量化颜色直方图、聚类颜色直方图

（1）量化颜色直方图

适用颜色空间：RGB、HSV等颜色空间
操作：颜色空间量化、单元（bin）由单元中心代表
统计落在量化单元上的像素数量
优势：计算高效
劣势：量化问题、稀疏

（2）聚类颜色直方图

适用颜色空间：Lab等颜色空间
操作：使用聚类算法对所有像素点颜色向量进行聚类
单元（bin）由聚类中心代表
问题：两幅颜色相近的颜色直方图，只是相错一个bin时，采用L1距离或者欧拉距离计算两者相似度会得到很小的相似度值。
解决方法：考虑到相似到不相同的颜色之间的相似度。a：采用二次式距离。b：对颜色直方图事先进行平滑过滤，即每个bin中的像素对于相邻几个bin也有贡献。

2、几何特征：Edge、Corner、Blob

（1）Edge（边缘）

定义：像素值函数快速变化的区域–》一阶导数极值的区域。
边缘提取：先高斯去噪，再使用一阶导数获取极值。
（导数对噪声敏感！）
二维：梯度幅值：hx（x,y）^2+ hy(x,y)^2
梯度增加最快的方向arctan（hy(x,y)/hx(x,y)）

（2）关键点

从不同的距离，不同的方向、角度，不同的光照条件下观察同一个物体时，物体的大小，形状，明暗都会有所不同。但我们仍然能够判断是同一物体。
理想的特征描述子应该具备这些性质。即，在大小、方向、明暗不同的图像中，同一特征点应该具有相似的描述子，称之为描述子的可复现性。
特征点：不同视角图片之间的映射
特点：可重复性、显著性
抗图片变换：外貌变换（亮度、光照）、几何变换（平移、选择、亮度）
用途：图片配准/拼接、运动跟踪、物体识别、机器人导航

（3）角点（Corner)

Harris角点：
一种显著点，在任何方向上移动小观察窗，导致大的像素变动。
角点区域：任何方向上的移动都会有大的像素变化。
Fast角点：
Fast角点检测是一种快速角特征检测算法。
Fast角点的定义：若某像素点与周围领域内足够多的像素点处于不同的区域，则该像素点可能是角点。
方法：确定一个阈值t，观察像素点为中心的一个半径等于3像素的离散化的圆，这个圆的边界上有16个像素点。如果在这个大小为16个像素的圆上有n个连续的像素点，他们的像素都比中间点的像素要大或小，则p是一个角点。（计算速度很快）

缺点：没有多尺度信息，没有方向。

（4）斑点

拉普拉斯梯度：
一阶导数极值点->二阶导数零点。二阶导数为0的点就是极值点。–》边界
二阶导数极值–》边界
先高斯变换，再进行拉普拉斯变换。斑点可以有不同的尺度。
（高斯进行去噪，高斯的核取得较小时，会更敏感，噪声数量多。反之高斯的核过大，可能会丢失重要信息。）

3、局部特征：SIFT、SURF、ORB

（1）SIFT

基于尺度空间不变的特性
特点：具有良好的不变性。针对旋转、尺度缩放、平移等，对视角变化，仿射变换具有一定稳定。
独特性好，信息量丰富
多量性，即使少数物体，可以产生大量SIFT特征
SIFT特征计算步骤:
在DOG尺度空间中获得极值点，即关键点
对关键点处理：位置插值（获得精确的关键点）、去除边缘点
关键点的方向估计
关键点的描述子的生成：区域坐标旋转->计算采样区域的直方图
尺度空间：使用不同的参数的LOG对图片滤波，再相减
使用LOG，后续计算量较大，故采用DOG。（使用高斯差分代替高斯-拉普拉斯）
高斯金字塔：在传统金字塔基础上，对每一层用不同的参数做高斯模糊，使得每一层金字塔有多张高斯模糊图像，这样一组图像就是一个octave
octave（i+1）的第一张图片是由octave（I）的倒数第三张图片降采样得到
高斯金字塔每一层相减就得到了DOG
判断极值点：以X为检测点，其周围的点，除了同层包围的8个点外，上下层的各9个点也要满足条件。
SIFT-DOG空间极值点就是“关键点”。圆的半径–》特征点尺度，圆心–》特征点坐标。
SIFT特征方向估计：在尺度上计算梯度直方图
获得最高值的方向为关键点主方向
为了匹配的稳定性，将超过最高值80%的方向为辅方向。
关键描述子的生成：
区域坐标旋转：为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近领域内的图像旋转一个方向角度。即将原图像旋转到与主方向相同的方向。
在旋转后的坐标上采样1616的像素窗。每个44网格有一个8方向的直方图，总共128维。即生成了采样区间的直方图。
缺点：计算太复杂。

（2）SURF

Haar-like特征:
分为边缘特征、线性特征、中心特征和对角线特征，这些特征组合而成特征模板。
特征模板有白色和黑色两种矩形，并定义该模板的特征值为白色矩形减去黑色矩形像素和。
Haar特征反映了图像的灰度变化情况。
SURF是对SIFT的改进，可以将运算速度提高三倍。SURF是把SIFT的某些运算作了简化。
（a）找出特征点:
SURF把SIFT中的高斯二阶微分的模板简化，使得卷积平滑操作只需要加减运算。
为了找出图像的特征点，需要对原图进行变换，变换图就是原图中的每个像素的海森矩阵行列式的近似值构成。对于海森矩阵要先进行高斯平滑，然后切二阶导数，这对于离散的像素点而言，这两种操作合在一起用一个haar模板代替就可以。
（b）找出正方向：
为了保证选转不变形，在SURF中，统计特征点领域内的Haar小波特性。
即以特征点为中心，计算半径为6s（s为特征点所在的尺度值）的邻域内，统计60度扇形内所有点在x（水平）和y（垂直）方向的haar小波响应总和。在方向确定时，在圆形区域内计算X,Y方向的haar小波响应，找到模最大的扇形区域。
（c）关键点描述子的生成：
在特征点周围取一个正方形框，框的边长为20s（s是所检测到该特征点所在的尺度）。该框的方向是检测出的主方像。把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特性。计算求和dx，dx绝对值和dy，dy绝对值，得到的特征点的向量的维度是64维的。
与SIFT对比：
加速三倍，亮度变化下效果更好，模糊方面优
尺度不变上不及SURF，旋转不变上差很多

（3）ORB特征描述（速度更快）

ORB特征基于FAST角点的特征点检测与BRIEF特征描述技术。
它是对FAST角点与BRIEF特征描述子的一种结合与改进。
Fast角点检测的缺点：缺乏尺度不变形–可以通过构建高斯金字塔，在每一层高斯金字塔图像上检测角点实现尺度不变性。
BRIEF的缺点：缺乏旋转不变形，需要给BRIEF加上旋转不变形。
BRIEF：
需要先平滑图像，然后在特征点周围选择一个Patch，在这个Patch内通过一种选定的方法来挑选出来n个点对比较点对中每两点像素的大小，所有n个点对相互比较，生成一个n长度的二进制串。
ORB对BRIEF的改进：
ORB在计算BRIEF描述子时建立的坐标是以关键点为圆心，以关键点和取点区域的形心（圆心）的连线为X轴建立坐标系。计算形心时，圆形区域上每个点的“质量”（灰度值）是其对应的像素值。

4、其他特征描述子（LBP、Gabor）

（1）LBP（局部二值模式）：

将每个像素点与周围点大小比较。半径为R的圆上，均匀采样P个点，大小量化为0和1。
为解决旋转不变性，将 LBP周围的二进制代码按位旋转，去二进制码最小的为最终的LBP值。
改进的LBP：将3*3邻域扩展到任意邻域，并且用圆形邻域替代正方形邻域。
LBP特征具有灰度不变性和旋转不变性等显著优点。

（2）GABOR:

用于边缘提取的线性滤波器，其频率和方向表达与人类视觉系统相似，能够提供良好的方向选择和尺度选择特性，而且对于光照不敏感。
十分适合纹理分析。
用一个三角函数和高斯函数叠加就得到Gabor滤波器。
频域：加窗傅里叶变换。
空域：一个高斯核函数和正弦平面波的乘积。