Homography拓展（含与平面法向量相关的情况）

2022-10-10 更新

个人感想

homography 适用的第一种情况，H 矩阵的组成有R,t，K等信息，很有感觉。
但是适用的第三种情况，H 矩阵直接就用矩阵的 9 个元素来表示，没什么感觉。
更新前的原文推导的公式是第一种情况的公式

homography 的相关说明

Projective Transformations aka Homographies aka Planar Perspective Maps

就是 这三个词是同义词。

图10-10-1. projectivity 定义。图片来自Multiple View Geometry in Computer Vision P33

  

图10-10-2. projective transformation 定义。图片来自Multiple View Geometry in Computer Vision P33

  

注意，可以通过一个 homography 变换将一个二维平面变换到另外一个二维平面，就是两个平面局部坐标系的坐标存在一个变换。

  

图10-10-3. homography作用于两图像间的例子，来自网课计算机视觉，谭平老师

  

图10-10-4. 。图片来自Multiple View Geometry in Computer Vision P33

  

图10-10-5. 。homography 的一个应用，图片来自Multiple View Geometry in Computer Vision P35 # 原文

在下面3种情况中，两个相机的像素点之间可以用一个 homography 矩阵进行转换：

1. 两个相机看到的 3d 点在一个平面上。
2. 两个相机没有平移只有旋转。
3. 作者感觉就是 central projection 的例子，如2022-10-10更新的图10-10-4所示。
   

图0. homography 变换的三种适用情况。图片来自Multiple View Geometry in Computer Vision P36

  
注意，homography矩阵刻画的是一种坐标之间的对应关系。
  
本文推导关于两个 像素坐标系下的 以及 在两个 相机坐标系下的 归一化 成像平面的对应点之间的 homography 矩阵。

图1. 两个相机视角 $C$,$C^{{}^{\prime }}$ 同时看 3d 空间中 共面 3d点。来自 Visual Odometry on Mobile
Devices for Virtual Walkthroughs page25

首先在，3d场景下，有一个在 平面上的 3d 点 $Q$, 它在相机坐标系 $C$, $C^{{}^{\prime }}$ 下的 3d 坐标分别是 $Q_1$, $Q_2$。已知，两个相机坐标系的关系如下：

$$Q_2=R{Q}_1+t\text{\hspace{1em}(1)}$$

其中 $R$, $t$ 分别为 从相机坐标系 $C$ 转换到 $C^{\prime }$ 的 $3\times 3$， $3\times 1$ 的旋转矩阵和平移向量。
又由 图1 所示， $3\times 1$ 向量 $n$ 是平面的一个单位法向量，而且它指向相机 C 光心的那侧（因为一个平面的法向量有两个方向，本文故指定其方向）。故
$$d=-n^T{Q}_1\text{\hspace{1em}(2)}$$
其中 $d$ 是三维场景中相机 C 的光心到平面 的距离。
$Q_1$ 代表由相机 C 的光心指向 三维点$Q_1$的向量。
对式（2）等式两边同除以 $d$，得
$$1=-\frac{n^T{Q}_1}{d}\text{\hspace{1em}(3)}$$
根据 式(1)、（2），得
$$Q_2=R{Q}_1-t\frac{n^T{Q}_1}{d}$$
可化为
$$Q_2=(R-t\frac{n^T}{d})Q_1\text{\hspace{1em}(4)}$$
注意，提取公共矩阵 $Q$ 在原来项中都处于右侧，故提出去后必须放在括号右边，矩阵乘法无交换律。
另一方面，根据相机坐标系的点投影到像素平面，有
$$s_1{q}_1=K_1{Q}_1\text{\hspace{1em}(5)}$$$$s_2{q}_2=K_2{Q}_2\text{\hspace{1em}(6)}$$
其中，$q_1$, $q_2$ 分别是 $Q_1$, $Q_2$ 在各自像素平面上的像素点，$K_1$, $K_2$ 分别为各自的 $3\times 3$ 相机内参矩阵。
进而，将式（4）带入（6），得
$$s_2{q}_2=K_2(R-t\frac{n^T}{d})Q_1\text{\hspace{1em}(7)}$$
根据 式（5）（7），得
$$s_2{q}_2=s_1{K}_2(R-t\frac{n^T}{d})K_1^{-1}{q}_1$$
可化为
$$q_2=s{K}_2(R-t\frac{n^T}{d})K_1^{-1}{q}_1\text{\hspace{1em}(8)}$$
其中
$$s=\frac{s_1}{s_2}$$

故从一个像素平面到另一个像素平面的 homography 矩阵
$$H=K_2(R-t\frac{n^T}{d})K_1^{-1}\text{\hspace{1em}(9)}$$

又 $$\overline{Q_1}=K_1^{-1}{q}_1\text{\hspace{1em}(10)}$$ $${\bar{Q}}_2=K_2^{-1}{q}_2\text{\hspace{1em}(11)}$$

其中 $\overline{Q_1}$, ${\bar{Q}}_2$ 分别为各自相机坐标系下 normalized相机平面上的 3d 点。
故由式（8）（10）（11），得 各自相机坐标系下 归一化平面上的 homography 矩阵
$$\bar{H}=R-t\frac{n^T}{d}$$

应用

1. 得到一张图像在另外的视角下面的图像。比如想得到道路的俯视图，但是没有俯视图，可以从其他视角的图像通过homography矩阵得到。
2. 求得 H，K，解算R,t。

参考资料

Pinhole Camera: Homography
Visual Odometry on Mobile Devices for Virtual Walkthroughs
wiki：homography