图像对齐：Parametric Image Alignment Using Enhanced Correlation Coefficient Maximization

Parametric Image Alignment Using Enhanced Correlation Coefficient Maximization

对齐的目的是找到两张图像像素点坐标间的对应关系，对于手持设备，首先假设两张图像间为简单的仿射变换，可以通过求解两张图像间的仿射变换矩阵，实现对齐图像的目的。作者导出ECC这个算法的两个核心思想，一个来源与作者本人的另一篇论文《An Enhanced Correlation-Based Method for Stereo Correspondence with Sub-Pixel Accuracy》中对增强相关系数的与残差之间的等同关系，一个来源与Takeo Kanade在其论文《An Iterative Image Registration Technique with an Application to Stereo Vision》中提出的Forward Additive迭代思想。

Problem Formulation

假设有一对图像，图像间仅存在像素点坐标间的畸变，记其中一帧图像为参考帧$I_r$，对应的像素坐标记为$\mathbf{x}=[x_r,y_r{]}^t$，另一帧图像为畸变帧$I_w$，对应的像素坐标记为$\mathbf{y}=[x_w,y_w{]}^t$，对齐的目的是找到$\mathbf{x}$与$\mathbf{y}$之间的对应关系$\varphi$，即$\mathbf{y}=\varphi (\mathbf{x};p)$，其中$\mathbf{p}=[p_1,......,p_N{]}^T$为$N$维的参数向量，因此可以将对齐问题看作是一个参数估计问题：
$$I_r(\mathbf{x})=I_w(\varphi (\mathbf{x};\mathbf{p}))\text{\hspace{1em}(1)}$$
将参数$\mathbf{p}$的优化问题，定义为参考帧与畸变帧经过畸变矫正的结果之间的差值的最小化问题：
$$\underset{\mathbf{p},\mathbf{\alpha }}{\min }E(\mathbf{p},\mathbf{\alpha })=\underset{\mathbf{p},\mathbf{\alpha }}{\min }\sum _{\mathbf{x}\in \mathcal{T}}{\left|I_r(\mathbf{x})-\Psi \left(I_w(\mathbf{\varphi }(\mathbf{x};\mathbf{p})),\mathbf{\alpha }\right)\right|}^p\text{\hspace{1em}(2)}$$
其中$\Psi (I,\alpha )$为简单的亮度转换，目的是降低由图像亮度变化带来的图像间的不相关性。

Proposed Criterion and Main Results

Vectorization

记参考图像与目标图像间的目标对齐区域的中心坐标数为$K$个，对齐区域的亮度值分别构成参考向量$i_w(p)$、畸变向量$i_r$，分别为：
$$\begin{array}{rl}{\mathbf{i}}_r& ={\left[I_r\left({\mathbf{x}}_1\right)I_r\left({\mathbf{x}}_2\right)\cdots I_r\left({\mathbf{x}}_K\right)\right]}^t\\ {\mathbf{i}}_w(\mathbf{p})& ={\left[I_w\left({\mathbf{y}}_1(\mathbf{p})\right)I_w\left({\mathbf{y}}_2(\mathbf{p})\right)\cdots I_w\left({\mathbf{y}}_K(\mathbf{p})\right)\right]}^t\end{array}\text{\hspace{1em}(3)}$$
${\bar{i}}_r$、${\bar{i}}_w(p)$分别为对应的零均值向量(column-zero–mean versions)，用ECC作为参数$p$的性能评价指标：
$$E_{ECC}(p)={\Vert \frac{{\bar{i}}_r}{\Vert {\bar{i}}_r\Vert }-\frac{{\bar{i}}_w(p)}{\Vert {\bar{i}}_w(p)\Vert }\Vert }^2\text{\hspace{1em}(4)}$$
可以看出增益及亮度整体抬升不影响评价指标

Performance Measure Optimization

在本文作者的另外一篇论文《An Enhanced Correlation-Based Method for Stereo Correspondence with Sub-Pixel Accuracy》中证明了对公式(4)的最小化等同于对下式增强相关系数(Enhanced Correction Coefficient)的最大化：
$$\rho (p)=\frac{{\bar{i}}_r^T{\bar{i}}_w(p)}{\Vert {\bar{i}}_r\Vert \Vert {\bar{i}}_w(p)\Vert }={\hat{i}}_r^T\frac{{\bar{i}}_w(p)}{\Vert {\bar{i}}_w(p)\Vert }\text{\hspace{1em}(5)}$$
其中${\hat{i}}_{}$