RS之影像相关匹配

一、相关原理概念

        相关性（Correlation）：在统计学中，相关性或独立性是两个随机变量之间的统计关系。尽管在最广泛的意义上，相关性可以表示任何类型的关联，但统计学中，它通常指的是一对变量线性相关的程度。我们熟知的Pearson相关系数（ρ  = cov（X,Y）/ sqrt（DX * DY）），它只对两个变量之间的线性关系敏感（但是若两随机变量之间存在非线性关系，Pearson相关系数也可能在一定程度上体现）。

        协方差与相关系数的意义：协方差（cov（X，Y）=E[X-EX][Y-EY]），其正负号显示了随机变量间线性关系的趋势；相关系数（即为协方差的归一化，其值取自[-1,1]），其大小显示了线性关系的强度，通常来说有正相关（ρ接近于1）、负相关（ρ接近于-1）和不相关（ρ接近于0）。

        互相关：在信号处理中，互相关是通过模板信号相对于搜索信号的移位衡量两系列信号的相似性。此过程也成为滑动点积（dot-product）或滑动内积。它通常用于在长信号中搜索较短的已知特征。（在数字图像处理中，互相关的方法应在一定的搜索范围内匹配较好，全局下可能存在一定的同质区）

       确定性信号的自相关（Auto-correlation of deterministic signals） ：基于高性能计算的要求，在信号处理中（声音、图像和科学测量的电气工程子领域），自相关通常不用归一化，即不需要减去均值后除以方差。此处显然为离散冲激函数自身的相关操作，同[5]一致。

        相关矩阵（同相关系数矩阵）：数据列Cij的对应值求解可依据上述r公式，因为通常来讲，在进行数据信号相关时，每一个目标信号都会与检测信号有对应值。（若其中出现缺值，那么如何合理地进行插补值或选择性舍弃又是一个值得思考的科学问题）

        互相关矩阵：

         影像相关原理：影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。

        金字塔影像相关：对二维影像逐次进行低通滤波，增大采样间隔（降采样），得到一个像元素总数逐渐变小的影像序列，将这些影像叠置起来颇像一座金字塔，称为金字塔影像结构。

二、五种基本的影像匹配方法（下述数据依据皆为灰度影像）

        对于摄影测量学而言，航空和航天数字影像均保证了一定的重叠度。通常来说，航空影像应保证60%左右的航向重叠度、40%左右的旁向重叠度，那么当我们对左像获取了特征点，要在右像搜索时，我们完全可以利用重叠度计算出大多数特征点的近似区域，从而在一个能够接受的范围内搜寻目标区的匹配特征点。

        下述方法中，最重要的，同时也是效果最好的即为相关系数法，其中最小二乘匹配也是基于的相关系数法。

（一）基于函数相关的灰度相关方法

        匹配结果：相关系数最大的搜索窗口的中心像素即认为匹配成功的特征点。

        适用假设：左影像与右影像灰度函数是相似的或者相近的。

        离散灰度数据对相关函数的估计公式：

         数学含义：（个人更倾向于从线性相关和逻辑回归去理解）若两个随机变量Y、X满足Y=aX + b，则可称随机变量Y、X线性相关。通常对于两组随机变量，我们也能通过最小二乘拟合出一条对应最佳直线。

（二）协方差函数（矢量投影）

        最佳适用假设：左影像与右影像所对应像素点的偏差为常量，通过减去窗口灰度均值可以较好地减弱左右两影像间的灰度差异对匹配结果的影响。

        协方差函数的近似公式在保证一定可接受的精度下，大大减少了计算机的计算量。

（三）相关系数（矢量夹角）

        最佳适用假设：左影像与右影像所对应像素点的偏差为线性关系（构成Xz=a*Yy+b），那么其左右对应窗口求解相关系数（归一化协方差）是不变的。

        数学含义：

（四）差平方和（不常用）

（五）差绝对值和（不常用）

参考资料：

[1]19_哔哩哔哩_bilibili(武汉大学数字摄影测量课程)

[2]https://en.wikipedia.org/wiki/Correlation（相关系数概念，Wiki）

[3]https://en.wikipedia.org/wiki/Cross-correlation（互相关，Wiki）

[4]https://en.wikipedia.org/wiki/Template_matching（模板匹配）

[5]数字图像处理：第四版/（美）拉斐尔.C.冈萨雷斯（Rafael C,Gonzalez）,（美）理查德.E.伍兹（Richard E.Woods）著；阮秋琦等译. —北京：电子工业出版社，2020.5.