最小二乘匹配LSM,最小二乘模板匹配LSTM
2、最小二乘模板匹配
《基于序列图像》
《数字摄影测量学》
1、定义
以给定的模式作为参考模板,是高精度匹配法之一。
最小二乘影像匹配LSM:
德国Ackermann提出,利用影像窗口内的信息进行平差计算,使得影像匹配达到0.1甚至0.01像素的精度。
不仅可以解决单点匹配single-point matching求视差,也可以直接解求其空间坐标同时解求影像的方位元素;
还可以解决多点影像匹配multi-point matching和多片影像匹配问题multi-photo matching(胡翔云,2001);
最小二乘模板匹配LSTM(least squares template matching):
Gruen等(Gruen,1985;1992)对LSM进行了扩展,以给定的特征模式作为参考模板与实际影像做最小二乘影像匹配,从而以很高的精度提取目标,称为最小二乘模板匹配Least Squares Template Matching ,LSTM。LSTM可以扩展到利用多张重叠影像直接提取特征的物方坐标,如Gruen的LSB-Snake方法(Gruen,1997)和后续的空间圆重建等。
2、基本思想
生成一个理想的小块边缘模板;
将该模板与测量图像进行匹配,精确提取特征的边缘位置;
给定模板灰度f(x,y),对应点为
测量图像的匹配窗口灰度g(x,y),对应点为
模板与测量图像存在仿射变换:
匹配的目的是:解算出变换参数
,结合 边缘点在给定模板上的精确坐标,可以得到边缘点的精确位置。
最小二乘是一个迭代过程,第一步的粗提取结果作为变换参数的迭代初值,代入矩阵方程求变形参数;
利用改正后的参数对测量图像重采样,计算模板与匹配子图的相关系数。若大于预定阈值,迭代结束。
3、算法
- 一般的影像匹配只考虑影像灰度的偶然误差v=g1(x,y)-g2(x,y);而LSM在此基础上,还引入了系统变形参数,同时按照最小二乘的原则,解求这些参数。
- 影像灰度的系统变形有两类:辐射畸变、几何畸变。
- 以灰度差平方和最小为判据(灰度差v),则影像匹配方程式为
- 利用一块标准影像与待匹配影像进行最小二乘影像匹配,以期获得精确的边缘位置。
4、基于模板匹配的直线段提取(仅考虑了辐射的线性畸变的最小二乘匹配——相关系数)
最小二乘匹配是目前常用的直线段提取的方法,该方法精度高,稳定灵活。
- 匹配前利用直线段的初始端点将影像块旋转为水平影像,水平影像每个像素都由双线性内插得到,这样可以只在断面方向匹配;
- 利用相关系数获得自适应模板:
h0,h1是辐射畸变参数。下面用g1表示实际影像模板,g2表示标准模板。
即:g1=h0+h1*g2
这里认为g1和g2是线性相关的!
误差:v=h0+h1*g2-g1
相关系数h0和h1:其中n为模板的像素数。
**************************************************************************************************************
一条直线段可用2个端点来表达,因此模板匹配的未知数就是端点坐标的改正数。由于图像已经旋转水平,那么起作用的只有y方向的改正数。(这里是不是只考虑平面上的平移和旋转,若z方向改变了,怎么办?)
- 即:误差v=gy*dy -(g2-g1),gy是旋转到水平坐标下,y轴方向的导数,一般用梯度代替,即gy=g(i+1,j)-g(i-1,j) (i为行号,j为列号)
- 匹配时,影像窗口内每一个像元都参与平差,设直线端点i和j的坐标为(xi=0,yi=0),(xj=Lij,yj=0),则线段上任意一点a的坐标为(xa,ya=0)
- 端点坐标的改正:
- 直线模板匹配的误差方程式:
- 对于相互遮挡的直线,需要进行消隐分析。
*************************************************************************************************************
接上面的h1和h0,《数字摄影测量学》
注意:这里没有引入几何变形参数,因此,匹配算法采用目标区相对于搜索区不断移动一个整体像素,在移动的过程中计算相关系数,搜索最大相关系数的影像区作为同名像点。
搜索过程:
5、仅考虑影像相对移位的一维最小二乘匹配
灰度函数g1和g2,其中,g2相对于g1存在移位(视差值)
6、基于单点的最小二乘匹配
两个2维图像的几何变形,不仅存在如5的相对移位,图形也会变化。
考虑一次几何畸变:
再加上线性灰度畸变: