【多视图几何】TUM 课程第3章透视投影

最新推荐文章于 2024-01-09 23:01:10 发布

JungleTU

最新推荐文章于 2024-01-09 23:01:10 发布

阅读量1.5k

点赞数 3

分类专栏： MVG 文章标签：计算机视觉相机模型透视几何

本文链接：https://blog.csdn.net/u011306452/article/details/54340966

版权

MVG 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了透视投影的数学表示，从相似三角形出发，详细阐述了相机内参、矩阵表示以及从世界坐标到相机投影平面的转换。讨论了相机坐标系与世界坐标系之间的关系，并介绍了将三维点坐标投影到二维像素坐标的过程。最后提到了球面投影的概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

课程的 YouTube 地址为：https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4。视频评论区可以找到课程所使用课件与练习题的下载地址。

第3章介绍了透视投影、相机内参、畸变矫正、原像与余像的概念。

1. 数学表示

1.1 从相似三角形开始

用一张图表示相机成像的光学过程（小孔成像）。

透视投影相似三角形

图中 $F_l$ 与 $F_r$ 是焦点，焦点即垂直通过透镜的光线的汇集点。

图中蓝色标明的三角形与红色标明的三角形相似：

Y y = - Z f

${Y \over y} = - {Z \over f}$

同理在像平面另一个方向 $X$ 轴上也有三角形相似：

X x = - Z f

${X \over x} = - {Z \over f}$

式子中存在负号是因为成的像是倒像，与原像是中心对称的关系。这样计算很不方便，于是将成像平面从焦点 $F_r$ 的后侧移动到焦点的前侧，并且翻转，于是有：

{x = f X Z y = f Y Z

$\begin{cases} x = f{X \over Z} \\ y = f{Y \over Z} \end{cases}$

翻转之后的成像如下所示：

透视投影翻转成像

总结一下，透视投影是将三维点坐标投影到平面形成二维点坐标：

π : ℝ 3 \to ℝ 2; X \mapsto x = π (X) = ⎡ ⎣ ⎢ ⎢ ⎢ f X Z f Y Z ⎤ ⎦ ⎥ ⎥ ⎥

$\pi: \mathbb{R}^3 \rightarrow \mathbb{R}^2; \mathbf{X} \mapsto \mathbf{x} = \pi(\mathbf{X}) = \begin{bmatrix} f {X \over Z} \\ f {Y \over Z} \end{bmatrix}$

以上是使用薄透镜时的透视原理，使用厚透镜时光线在透镜内部存在不可忽略不计的折射，需要进行变形纠正。

1.2 矩阵表示

将投影过程在齐次坐标下用矩阵表示：

Z x = Z ⎡ ⎣ ⎢ ⎢ x y 1 ⎤ ⎦ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ f 00 0 f 0 001000 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = K f Π 0 X

$Z \mathbf{x} = Z \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} = K_f \Pi_0\mathbf{X}$

这里引入了两个新的矩阵 $K_f, \Pi_0$ ：

K f \equiv ⎡ ⎣ ⎢ ⎢ f 00 0 f 0 001 ⎤ ⎦ ⎥ ⎥; Π 0 \equiv ⎡ ⎣ ⎢ ⎢ 100010001000 ⎤ ⎦ ⎥ ⎥

$K_f \equiv \begin{bmatrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \end{bmatrix}; \Pi_0 \equiv \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}$

$\Pi_0$ 被称作标准投影矩阵（Standard Projection Matrix），作用是将齐次坐标转化为非齐次坐标。

假设物体离相机很远，其景深 $Z$ 为常数 $\lambda$ 。景深一定是正数，因为相机成像的物体在焦点（上图中的 $F_l$ ）之前，所以有 $\lambda \gt 0$ 。我们得到投影过程的简洁形式：

λ x = K f Π 0 X

$\lambda \mathbf{x} = K_f\Pi_0\mathbf{X}$

其中 $\mathbf{x}$ 是相机投影平面坐标（单位m）， $\mathbf{X}$ 是三维点在相机坐标系中的坐标。

1.3 从世界坐标系到相机投影平面

上式中的 $\mathbf{X}$ 是相机坐标系坐标，将相机的位姿加入考虑范围，求世界坐标系坐标到相机投影平面坐标系的坐标。

由上一章的内容可知，相机当前坐标系坐标与世界坐标系坐标之间的转换关系如下：

X = g X 0 = [R 0 T 1] X 0

$\mathbf{X} = g\mathbf{X_0} = \begin{bmatrix} R & T \\ 0 & 1 \end{bmatrix}\mathbf{X_0}$

所以从世界坐标系坐标到相机投影平面坐标系坐标的转换关系为

λ x = K f Π 0 g X 0

$\lambda \mathbf{x} = K_f\Pi_0g\mathbf{X_0}$

还可以做进一步的简化，如果将相机投影平面坐标系的单位长度设置为焦距 $f$ ，那么 $K_f$ 为单位阵，公式可化简为

λ x = Π 0 g X 0

$\lambda \mathbf{x} = \Pi_0g\mathbf{X_0}$

2. 相机内参

上面的公式推导是世界坐标系坐标转化为相机投影平面坐标系坐标，相机投影平面坐标系坐标的单位是 m，但使用相机拍摄的影像时我们读取的是像素坐标，所以还需要进一步的坐标转换。进一步的坐标转换如下：

λ ⎡ ⎣ ⎢ ⎢ ⎢ x' y' 1 ⎤ ⎦ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ s x 00 s θ s y 0 o x o y 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ f 00 0 f 0 001 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ 100010001000 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\lambda \begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} s_x & s_{\theta} & o_x \\ 0 & s_y & o_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$

这里引入了新的矩阵 $K_s$