MVS学习之重要公式推导

重要公式推导

单应矩阵公式推导

单应矩阵通常描述处于同一平面上的一些点在两张图像之间的变换关系。设图像${\mathbf{I}}_1$和${\mathbf{I}}_2$有一对匹配好的特征点${\mathbf{p}}_1$和${\mathbf{p}}_2$。匹配的特征点在各个相机坐标系中的坐标分别为${\mathbf{P}}_1,{\mathbf{P}}_2,\mathbf{P}$，这个特征点落在平面$\mathbf{S}$上(${\mathbf{I}}_1$对应的相机坐标系)，平面满足：
$${\mathbf{n}}^T{\mathbf{P}}_1+d=0$$
整理得:
$$-\frac{{\mathbf{n}}^T{\mathbf{P}}_1}{d}=1$$
记${\mathbf{I}}_1$, ${\mathbf{I}}_2$对应得相机得外参分别为${\mathbf{R}}_1,{\mathbf{t}}_1$和${\mathbf{R}}_2,{\mathbf{t}}_2$，有：
$$\begin{gathered} {\mathbf{P}}_2={\mathbf{R}}_2\mathbf{P}+{\mathbf{t}}_2 \\ {\mathbf{P}}_1={\mathbf{R}}_1\mathbf{P}+{\mathbf{t}}_1 \end{gathered}$$
可得：
$${\mathbf{R}}_2^{-1}({\mathbf{P}}_2-{\mathbf{t}}_2)={\mathbf{R}}_1^{-1}({\mathbf{P}}_1-{\mathbf{t}}_1)$$
即:
$${\mathbf{P}}_2={\mathbf{R}}_2{\mathbf{R}}_1^{-1}{\mathbf{P}}_1+{\mathbf{t}}_2-{\mathbf{R}}_2{\mathbf{R}}_1^{-1}{\mathbf{t}}_1={\mathbf{R}}_r{\mathbf{P}}_1+{\mathbf{t}}_r$$
又${\mathbf{p}}_2\simeq {\mathbf{K}}_2{\mathbf{P}}_2$
$$\begin{array}{rl}{\mathbf{p}}_2& \simeq {\mathbf{K}}_2{\mathbf{P}}_2\\ & \simeq {\mathbf{K}}_2({\mathbf{R}}_r{\mathbf{P}}_1+{\mathbf{t}}_r)\\ & \simeq {\mathbf{K}}_2({\mathbf{R}}_r{\mathbf{P}}_1+{\mathbf{t}}_r(-\frac{{\mathbf{n}}^T{\mathbf{P}}_1}{d}))\\ & \simeq {\mathbf{K}}_2({\mathbf{R}}_r-\frac{{\mathbf{t}}_r{\mathbf{n}}^T}{d}){\mathbf{P}}_1\\ & \simeq {\mathbf{K}}_2({\mathbf{R}}_r-\frac{{\mathbf{t}}_r{\mathbf{n}}^T}{d}){\mathbf{K}}_1^{-1}{\mathbf{p}}_1\\ & \simeq H{\mathbf{p}}_1\end{array}$$
所以
$$\begin{array}{rl}H& ={\mathbf{K}}_2({\mathbf{R}}_r-\frac{{\mathbf{t}}_r{\mathbf{n}}^T}{d}){\mathbf{K}}_1^{-1}\\ & ={\mathbf{K}}_2({\mathbf{R}}_2{\mathbf{R}}_1^{-1}-\frac{{\mathbf{R}}_2({\mathbf{R}}_2^{-1}{\mathbf{t}}_2-{\mathbf{R}}_1^{-1}{\mathbf{t}}_1){\mathbf{n}}^T}{d}){\mathbf{K}}_1^{-1}\\ & ={\mathbf{K}}_2({\mathbf{R}}_2{\mathbf{R}}_1^T-\frac{{\mathbf{R}}_2({\mathbf{R}}_2^T{\mathbf{t}}_2-{\mathbf{R}}_1^T{\mathbf{t}}_1){\mathbf{n}}^T}{d}){\mathbf{K}}_1^{-1}\end{array}$$
注：

• 旋转矩阵是一个完美的矩阵——正交矩阵。它的行列式为1，且每个列向量都是单位向量且相互正交，它的逆等于它的转置。
• 此时得到的仍然是$\simeq$(尺度意义上相等，即第三个元素为1时相等)，不是$=$，所以$\mathbf{H}$可以乘以任意非零常数，但是由于$\mathbf{H}$已知，只需要归一化向量的第三个元素为一即可取等号
• $n$是法线，但是$d$并不是深度，深度是$P_{1,z}$!!!但是$d$的求解需要知道深度！$P_{1,x},P_{1,y}$已知，因此单应矩阵的求解需要知道深度和法线信息。
• 单应矩阵的好处是，当假设一个点周围的点都在同一个平面上时，周围点在源图中的坐标可以直接通过单应矩阵计算！

匹配代价(双边加权NCC，bilaterally weighted NCC)

给定二元总体$(\mathbf{X},\mathbf{Y})$，总体相关系数用${\rho }_{\mathbf{X},\mathbf{Y}}$来表示：
$$\begin{array}{rl}{\rho }_{\mathbf{X},\mathbf{Y}}& =\frac{cov(\mathbf{X},\mathbf{Y})}{\sqrt{var(\mathbf{X})var(\mathbf{Y})}}\\ & =\frac{\mathbf{E}[(\mathbf{X}-{\mathbf{\mu }}_{\mathbf{X}})(\mathbf{Y}-{\mathbf{\mu }}_{\mathbf{Y}})]}{\sqrt{\mathbf{E}[(\mathbf{X}-{\mathbf{\mu }}_{\mathbf{X}})(\mathbf{X}-{\mathbf{\mu }}_{\mathbf{X}})]\mathbf{E}[(\mathbf{Y}-{\mathbf{\mu }}_{\mathbf{Y}})(\mathbf{Y}-{\mathbf{\mu }}_{\mathbf{Y}})]}}\\ & =\frac{\mathbf{E}(\mathbf{X}\mathbf{Y})-\mathbf{E}\mathbf{X}\mathbf{E}\mathbf{Y}}{\sqrt{(\mathbf{E}{\mathbf{X}}^2-(\mathbf{E}\mathbf{X}{)}^2)(\mathbf{E}{\mathbf{Y}}^2-(\mathbf{E}\mathbf{Y}{)}^2)}}\end{array}$$
所谓加权就是在求解均值的时候加权，原始公式见：$\text{Pixelwise View Selection for Unstructured Multi-View Stereo}公式10$。

记当前参考图像中的像素点为${\mathbf{x}}_l$，通过单应矩阵得到对应源图中的匹配的像素点为${\mathbf{x}}_l^m$，两者相应的像素块分别为${\mathbf{w}}_l,{\mathbf{w}}_l^m$，两个像素块的每一个坐标都通过单应矩阵对应。则两个像素块之间的颜色相似度为：
$${\rho }_l^m=\frac{co{v}_w({\mathbf{w}}_l,{\mathbf{w}}_l^m)}{\sqrt{co{v}_w({\mathbf{w}}_l,{\mathbf{w}}_l)co{v}_w({\mathbf{w}}_l^m,{\mathbf{w}}_l^m)}}$$
将${\mathbf{w}}_l,{\mathbf{w}}_l^m$分别展成$\mathbf{X},\mathbf{Y}$，上式变为：
$$\begin{array}{rl}{\rho }_l^m& =\frac{co{v}_w({\mathbf{w}}_l,{\mathbf{w}}_l^m)}{\sqrt{co{v}_w({\mathbf{w}}_l,{\mathbf{w}}_l)co{v}_w({\mathbf{w}}_l^m,{\mathbf{w}}_l^m)}}\\ & =\frac{{\mathbf{E}}_w(\mathbf{X},\mathbf{Y})}{\sqrt{{\mathbf{E}}_w(\mathbf{X},\mathbf{X}){\mathbf{E}}_w(\mathbf{Y},\mathbf{Y})}}\\ & =\frac{{\mathbf{E}}_w(\mathbf{X}\mathbf{Y})-{\mathbf{E}}_w(\mathbf{X}){\mathbf{E}}_w(\mathbf{Y})}{\sqrt{({\mathbf{E}}_w({\mathbf{X}}^2)-{\mathbf{E}}_w{(\mathbf{X})}^2)({\mathbf{E}}_w({\mathbf{Y}}^2)-{\mathbf{E}}_w{(\mathbf{Y})}^2)}}\end{array}$$
其中
$${\mathbf{E}}_w(\mathbf{X}\mathbf{Y})=\frac{{\sum }_i{w}_i{g}_i{g}_i^m}{{\sum }_i{w}_i}$$
$g_i,g_i^m$表示位于坐标${\mathbf{x}}_i,{\mathbf{y}}_i$的灰度。每个像素权重的计算：
$$w_i=exp(-\frac{\Delta g_i}{2{\sigma }_g^2}-\frac{\Delta x_i}{2{\sigma }_x^2})$$
其中：

• $w_i$表示像素$i$和中心像素$l$同属于$l$对应平面的可能性；
• $\Delta g_i=|g_i-g_l|$表示灰度距离(灰度差)；
• $\Delta x_i=\Vert {\mathbf{x}}_i-{\mathbf{x}}_l\Vert$表示像个像素的空间距离。

块匹配成本:
$$cost=\{\begin{array}{l}min(0,max(2,1-{\rho }_l^m)),{\mathbf{E}}_w({\mathbf{X}}^2),{\mathbf{E}}_w({\mathbf{Y}}^2)\ge 10^{-5}\\ 2,otherwise\end{array}$$

本质上就是求解一个线性相关系数。

由平面假设计算深度

由平面假设：$AX+BY+CZ=D$，得$A\frac{X}{Z}+B\frac{Y}{Z}+C=-D\frac{1}{Z}$，其中
$$\begin{gathered} u=f_x\frac{X}{Z}+c_x \\ v=f_y\frac{Y}{Z}+c_y \end{gathered}$$
$u,v$为像素坐标。即
$$\begin{gathered} \frac{X}{Z}=\frac{u-c_x}{f_x} \\ \frac{Y}{Z}=\frac{v-c_y}{f_y} \end{gathered}$$
所以
$$Z=-\frac{D}{A\frac{X}{Z}+B\frac{Y}{Z}+C}$$