精读As-Projective-As-Possible Image Stitching with Moving DLT

最新推荐文章于 2023-12-12 08:20:05 发布

工长山

最新推荐文章于 2023-12-12 08:20:05 发布

阅读量1.4w

点赞数 5

分类专栏：文献阅读笔记文章标签： As-Projective-As-Pos Image Stitching Moving DLT cvpr2013 apap

本文链接：https://blog.csdn.net/xuanwu_yan/article/details/9400321

版权

文献阅读笔记专栏收录该内容

18 篇文章 0 订阅

订阅专栏

文章标题As-Projective-As-Possible Image Stitching with Moving DLT，来自CVPR 2013，文章主页，PDF。

摘要

本文主要目的是做图像拼接，使用MovingDirect Linear Transformation (MDLT)算法，强调全局投影(Globallyprojective)特性，同时允许局部非投影(local non-projective)偏差，能够有效的避免两幅图像重合部分的重影现象，降低了对准的误差，再几何上看起来更加逼近真实，畸变更小。

投影变换(Projective warp)，逼近仿射变换(As-affine-as-possible warp)与本文的逼近投影变换(As-projective-as-possible warp)进行对比，如下图。（此图未完全看懂，谁看懂了说一下）

主要算法

文章使用的是Moving DLT算法，那么首先就要搞清楚什么是DLT算法。在两幅图片和中有一对匹配的点对，原始图像(Source Image)中的点 ${\bf{x}} = {\left[ {x\ y} \right]^T}$ 与目标图片(Target Image)中的点 ${\bf{x}}' = {\left[ {x'\ y'} \right]^T}$ ，投影变换或者说单应矩阵（对极几何中的基础矩阵？本质矩阵？）要做的事就是得到一个映射关系

$\widetilde{\bf{{x}}'} = {\bf{H\widetilde{x}}}$

此公式中的 $\widetilde{\bf{x}}$ 表示 $\bf{x}$ 的其次坐标，即 $\widetilde {\bf{x}}={\left[ {{{\bf{x}}^T}\ 1} \right]^T}$ ， ${\bf{H}} \in\mathbb{R} {^{3 \times 3}}$ 为单应矩阵。在非其次坐标中，有如下对应关系：

$x'=\frac{h_1^T{\left [ x\ y\ 1 \right ]}^T}{h_3^T{\left [ x\ y\ 1 \right ]}^T}$ ， $y'=\frac{h_2^T{\left [ x\ y\ 1 \right ]}^T}{h_3^T{\left [ x\ y\ 1 \right ]}^T}$

其中的 $h_j^T$ 代表单应矩阵 $\bf {H}$ 中的第j行，并且此处映射为非线性映射。DLT算法就是计算单应矩阵 $\bf {H}$ 的一种基础算法。
此处文章直接给出来了一个公式，说根据公式1直接得到了 ${{\bf{0}}_{3 \times 1}}={\bf{\tilde x}}' \times {\bf{H\tilde x}}$ ，下面我稍微解释一下上面这个公式是怎么来的，from wiki。

设有半正定矩阵 $\bf{B}$ ，使得 ${\widetilde{\bf x}}{'^T}B{{{\bf{\widetilde x}}}'} = 0$ 。由于 $\widetilde{\bf x}'\in\mathbb{R}^{3\times 3}$ ，所以共有3＊2/2=3个这样的 $\bf B$ 。

${B_1}=\begin{bmatrix} 0 & 0 & 0\\ 0 & 0 & -1\\ 0 & 1 & 0 \end{bmatrix}$ ， ${B_2}=\begin{bmatrix} 0 & 0 & 1\\ 0 & 0 & 0\\ -1 & 0 & 0 \end{bmatrix}$ ， ${B_3}=\begin{bmatrix} 0 & -1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}$

令 $\left [ \widetilde{\bf {x}}' \right ]_\times =\begin{bmatrix} \widetilde{\bf {x}}'^T\bf{B}_1\\ \widetilde{\bf {x}}'^T\bf{B}_2\\ \widetilde{\bf {x}}'^T\bf{B}_3 \end{bmatrix}$ ，则有：

${\bf{0}_{3 \times 1}}=\left[ {\widetilde {\bf x}}' \right]_ \times {\widetilde {\bf x}}'=\left[ {\widetilde {\bf x}}' \right]_ \times \bf {H} {\widetilde {\bf x}}=\begin{bmatrix} {\bf{0}_{1 \times 3}} & -\widetilde{\bf x}^T & y'\widetilde{\bf x}^T\\ \widetilde{\bf x}^T & {\bf{0}_{1 \times 3}} & -x'\widetilde{\bf x}^T\\ -y'\widetilde{\bf x}^T & x'\widetilde{\bf x}^T & {\bf{0}_{1 \times 3}} \end{bmatrix}$ ， $\bf h = \begin{bmatrix} \bf{h}_1\\ \bf{h}_2\\ \bf{h}_3 \end{bmatrix}$

由于 $\widetilde{\bf x}'^T{\bf B}_i$ 的秩为2，所以 $\left [ \widetilde{\bf x}' \right ]_\times$ 的秩也为2，这样子我们设 $\bf{a}_i \in \mathbb{R}^{2\times 9}$ 为上面矩阵的前两行，i代表第i个匹配点对。则矩阵H的目标函数：

$\widehat{\bf {h}}=argmin\sum_{i=1}^{N}\left \| {\bf {a}}_i \bf {h} \right \|^2=argmin\left \| {\bf {A}} \bf {h} \right \|^2$ ，subject to $\left \| \bf{h} \right \|=1$

重新排列后得到矩阵H。 $\bf{A} \in \mathbb{R}^{2N\times 9}$ ，将 ${\bf{a}}_i$ 纵向排列得到。解为A奇异分解右侧的矩阵。如此，对其他像素根据单应矩阵做一次线性变换即可。由于是整幅图片使用一个单应矩阵，所以只适用于旋转角度不大的情况，本文对此做出改进，在计算 ${\bf{H}}_\ast$ 时采用加权估值，使用

$\widetilde{\bf{h}}_\ast = argmin_h{\sum_{i=1}^N{\left \| \omega _\ast ^i {\bf a}_i \bf h \right \|^2}}$

$\left \{ \omega _\ast ^i \right \}_{i=1}^N \in \left [ 0,\ 1 \right ]$ 与图片中每个像素 $x_\ast$ 距离第i个匹配点 $x_i$ 之间的几何距离正相关。为了避免过于接近0导致误差，进行规格化操作。取 $\gamma \in \left [ 0,\ 1 \right ]$

$\omega _\ast ^i = max\left ( exp\left ( -\left \| x_\ast -x_i \right \|^2 \right ) ,\ \gamma \right )$

可以看出当 $\gamma$ 趋近1的时候MovingDLT和DLT就是一样子了。由于像素的连续性， ${\bf{H}}_\ast$ 的变化也是连续的。未经过规格化结果如下图：

本文的基本操作

SIFT提取匹配点对；
RANSACwith DLT去除outliers
计算全局的单应矩阵，计算拼接之后整幅图size，使用全局单应矩阵将Source Image映射到Target Image中去
分块(cell)计算MDLT中的weight矩阵并映射。我们观察到大于40%的cell只有少数的weight值不同于 $\gamma$ 。令 ${\bf W}_\gamma =\gamma \bf I$ ，特征值分解： ${\bf A}^T{\bf W}_\gamma ^T{\bf W}_\gamma {\bf A} = \bf {VDV}^T$
真正的weight矩阵 $\widetilde{\bf W}$ 和 ${\bf W}_\gamma$ 区别在于那些很少的 $\omega _i$ 不为 $\gamma$ 的地方，且均分布在对角线上。如此，就有
${\bf A}^T{\bf \widetilde{W}}_\gamma ^T{\bf \widetilde{W}}_\gamma {\bf A} = \bf {VDV}^T + \sum_{i=1}^K{\rho {\bf r}_i {\bf r}_i^T } = \bf {V\left ( \bf D + \sum _{i=1}^K{\rho \bar{\bf r}_i {\bar{\bf r}_i}^T} \right )}\bf {V}^T$
其中 $\rho =\omega _i^2 / \gamma ^2 \ -1$ ， ${\bf r}_i$ 为前面矩阵A的第i行， ${\overline{\bf r}}_i={\bf V}^T{\bf r}_i$ 。用特征方程对角化上面公式中间的矩阵
$\bf D + \sum _{i=1}^K{\rho \bar{\bf r}_i \bar{\bf r}_i^T}=\widetilde{C}\widetilde{D}\widetilde{C}^T \in \mathbb{R}^{m\times m}$
得到 ${\bf A}^T\widetilde{\bf W}_\gamma ^T\widetilde{\bf W}_\gamma {\bf A}=\bf {V \widetilde{C} \widetilde{D}\left ( V \widetilde{C} \right )}^T$ ，由于 $\bf V\widetilde{\bf C}$ 是奇异值分解右侧的矩阵，这样就得到了h的估计 $\bf V\widetilde{\bf C}$ 。用此对每一个cell做单应矩阵的变换。这样子做法好处是每个cell的时间复杂度是 $\mathbb{O}\left ( m^2log^2m \right )=\mathbb{O}\left ( 9^2log^2 9 \right )=\mathbb{O}\left ( 1 \right )$ 。

结果如下

工长山

关注

5
点赞
踩
34

收藏

觉得还不错? 一键收藏
21
评论
精读As-Projective-As-Possible Image Stitching with Moving DLT

文章标题As-Projective-As-PossibleImage Stitching with Moving DLT，来自CVPR 2013，文章主页，PDF。摘要本文主要目的是做图像拼接，使用MovingDirect Linear Transformation (MDLT)算法，强调全局投影(Globallyprojective)特性，同时允许局部非投影(local non-pr
复制链接

扫一扫

专栏目录