图像处理知识点总结

二值化方法

• 最大类间方差法(Otsu)
• 直方图双峰法
• 均值法
• 最大熵阈值法

参考：
常见的二值化方法
图像二值化方法中的阈值法

图像拼接

特征提取与匹配

• 基于SIFT的图像拼接：SIFT计算量很大，因此在速度要求很高的场合下不适用
• 基于SURF的图像拼接：相比SIFT，提高了速度，但精确性和稳定性不如SIFT
• 基于ORB的图像拼接：

SIFT特征描述子

构造尺度空间

利用高斯差分算子获得高斯差分空间，基于变换后的图提取特征

非极值抑制

在尺度空间中寻找极大极小值点作为初步特征点。

精确定位极值点

用泰勒展开找到亚像素级的特征点，消除低于阈值的点。

选取特征点的主方向

统计邻域的梯度方向直方图，将直方图中最大的bin作为主方向，同时大于最大bin 80%的方向也可以同时作为主方向，即一个特征点可以有多个主方向。

构造特征描述子

取一个邻域，划分成4*4个子邻域，对每个邻域计算一个八方向梯度直方图，16个邻域获得1个128维向量，即SIFT特征描述子。

参考：
特征点检测学习_1(sift算法)

SURF特征描述子

构造高斯金字塔尺度空间

先对原图进行滤波，再获取每个像素的Hessian矩阵行列式的近似值图，然后基于变换后的图提取特征。

SURF构造高斯金字塔不同的octave通过采用不同的高斯模板尺寸来获得不同的尺度（模糊程度），同一个octave中的各个图片的高斯模板尺度也不同，不需要下采样，提高了速度。

利用非极大值抑制初步确定特征点

在变换后的图上，将每个像素点与其3维邻域的26个点进行比较，若为最大值或最小值，则保留，作为初步的特征点。

采用线性插值精确定位极值点

采用线性插值得到亚像素级的特征点，同时去掉小于阈值点。

选取特征点的主方向

统计特征点邻域内的harr小波特征。（SIFT则是在特征点邻域内统计梯度直方图）

构造特征描述子

在特征点周围选取一个区域，将该区域划分为4*4的子区域，每个子区域计算1个4维向量，分别是相对于主方向的水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和。最终16个子区域获得一个64维的向量，即为SURF特征描述子。

参考：
特征点检测学习_2(surf算法)

特征描述子的比较

• SIFT采用DOG（高斯差分算子）图像，SURF先进行高斯滤波，再构造Hessian矩阵。
• SIFT在原图的DOG图上寻找特征点，SURF在原图每个像素的Hessian矩阵行列式近似值图像上寻找特征点
• SURF通过改变高斯模板的尺寸来改变尺度，相比SIFT节省了下采样过程，提升了速度

特征点匹配

对于特征点集合B中的特征点，去寻找A中最相似的点，sift特征点匹配采用kd-tree，能更快速地找到匹配点。

kd-tree主要思想是对搜索空间进行划分，查找的时候kd-tree相当于一棵二叉查找树，因此大大减小了搜索空间。

图像配准

得到两幅待拼接图像的匹配点集后，进行图像的配准，即将两张图像转换为同一坐标下

图像拷贝

图像融合

两幅图像的拼接处因光照或其他原因过度不自然，可以采取加权融合，使得图像平缓过度。

参考：
OpenCV探索之路（二十四）图像拼接和图像融合技术