OpenCV 相机转换为 OpenGL 相机

0.引言

• 转载自.

1.预备知识和概述

本文假设您已经熟悉针孔相机的概念，这是OpenCV库中典型相机的相机校准模型。关于相机模型和投影几何的更多细节，最好的解释来自Richard Hartley和Andrew Zisserman的书《Multiple View Geometry in Computer Vision》，特别是第6章“相机模型”（这是我的极其偏见的看法）。我在本教程的其余部分将缩写该书为“H-Z书”。

使用OpenGL函数调用（例如glFrustrum（）和glOrtho（））可以设置许多相机参数。但是，在本教程中，我直接设置矩阵，然后将这些矩阵发送到着色器。如果这些细节对您来说是新的，请参考本教程中的代码示例，这将更加清晰。由于直接使用矩阵，本教程可能提供了一些线索，以推导出类似于针孔模型的相似相机模型的OpenGL投影矩阵。

2.资源

这是我用来解决这个问题的两个资源。两者都是很好的资源。如果您在这里，很可能您会发现这两个资源没有详细说明如何将OpenCV校准矩阵转换为OpenGL矩阵，这也是本教程的目标。

• Kyle Simek: 计算投影矩阵
• Song Ho: 计算投影矩阵

如果您不熟悉现代OpenGL，则下面的一组教程是一个很好的起点：

• LearnOpenGL，学习现代OpenGL的好资源

3.OpenCV和OpenGL中的图像坐标系统

3.1.OpenCV / H-Z和OpenGL中的主轴

首先，我们将讨论两个标准的图像坐标系统的所有细节。

在H-Z和OpenCV坐标系统中，相机都假设主轴与正 z 轴对齐。换句话说，正 z 轴指向相机的视场。另一方面，在OpenGL中，主轴与负z轴对齐在图像坐标系中。由于这些变化，两种表示之间的 x 轴也将旋转180度。

3.2.齐次坐标和OpenGL中的归一化设备坐标

• 在OpenCV / H-Z框架中，有三个坐标系：图像坐标系，相机坐标系和世界坐标系。

• 在OpenGL框架内，有四个坐标系：图像坐标系，相机坐标系，世界坐标系和… 归一化设备坐标或NDC。我将通过类比OpenCV / H-Z框架，说明这些坐标系如何工作，以及操作顺序和其他所需的基础知识。

4.OpenCV / H-Z框架中的投影

图1. 三个坐标系之间关系的示意图：OpenCV框架中的世界坐标系、相机坐标系和图像坐标系。相机所观察的场景位于相机坐标系的正Z轴方向。在图像坐标系中，请注意原点位于左下角，而Y轴向上-与数据矩阵布局中Y相反的方向。有关更多信息，请参见图3中的内容。($x_0,y_0$) 是图像坐标系中的主点，是在相机校准期间找到的一个参数。还有一个像素坐标系，不多解释了。

---

设：

• ${\mathbf{K}}_{CV}$：上三角形的大小为 $3\times 3$ 的内部相机校准矩阵。
• $\mathbf{R}$（旋转）：正交的大小为 $3\times 3$ 的矩阵。
• $\mathbf{t}$（平移）：列向量，大小为 3。
• $\mathbf{X}$（世界点）：列向量，大小为 4。
• ${\mathbf{x}}_{CV}$（图像点）：列向量，大小为 3。

那么，

$${\mathbf{x}}_{CV}={\mathbf{K}}_{CV}[\mathbf{R}|\mathbf{t}]\mathbf{X}$$由于我们正在处理齐次坐标，因此需要对${\mathbf{x}}_{CV}$ 进行归一化。假设向量的索引是以0为基础的（换句话说，第一个项目的索引为0，因此第三个项目的索引为(2)：

$${\mathbf{x}}_{CV}=\frac{{\mathbf{x}}_{CV}}{{\mathbf{x}}_{CV}(2)}$$
在此操作之后，

$$\begin{array}{rl}{\mathbf{x}}_{CV}(0)& =x_{col}\\ {\mathbf{x}}_{CV}(1)& =x_{row}\\ {\mathbf{x}}_{CV}(2)& =1\end{array}$$

如果$x_{col}$ 或 $x_{row}$ 不在图像空间内，则这些点不会绘制在图像上。例如，小于零的图像坐标会被丢弃，大于图像尺寸的坐标也会被丢弃。OpenGL中也发生了类似的过程，只需添加一个维度（z）即可！

5.OpenGL框架中的投影

图2。重要的是，注意这个图是针对从OpenCV约定转换为OpenGL约定的高度特定的情况。通常，相机坐标系的主轴是负的 z。如果您的校准矩阵是这种情况，请停止并查阅其他指南。

假设我们假设的校准矩阵主轴是相机坐标系中的 +z，因此，与OpenCV相同，流水线的开始是

• 通过旋转和平移 $\mathbf{R}\mid \mathbf{t}$ 将世界点转换。
• 然后，相机坐标系略有不同；在OpenGL中有近平面和远平面的概念，这些参数由用户定义。通过 ${\mathbf{K}}_{GL}$ ，将相机坐标系中的点转换到下一个空间 — 我称之为长方体空间，这不是一个正确的旋转和平移，而是一个反射到左手坐标系。
• 然后，$\mathbf{NDC}$ 变换将长方体空间变换为具有角为 $\pm 1$ 的立方体 — 标准化设备坐标系。

这就完成了所有用户需要指定的转换 — 一旦坐标处于左手标准化设备坐标系中，那么OpenGL将把这些坐标转换为图像坐标。要进行故障排除和自己进行转换，可以在Conversion Corner 1中找到方程式。

---

设：

• $\mathbf{NDC}$（归一化设备坐标）：$4\times 4$ 内参相机标定矩阵。
• ${\mathbf{K}}_{GL}$：$4\times 4$ 内参相机标定矩阵。
• $\mathbf{R}$（旋转）：正交的 $3\times 3$ 矩阵。
• $\mathbf{t}$（平移）：列向量，大小为 3。
• $\mathbf{X}$（世界坐标点）：列向量，大小为 4。
• ${\mathbf{x}}_{GL}$ （图像点）：列向量，大小为 4。

接着，

$${\mathbf{x}}_{GL}=\mathbf{NDC}{\mathbf{K}}_{GL}\left[\begin{array}{cccc}& \mathbf{R}& & \mathbf{t}\\ 0& 0& 0& 1\end{array}\right]\mathbf{X}$$

暂时不指定 $\mathbf{NDC}$ 矩阵，而是指定 OpenGL 中所有坐标系统的工作方式。但不用担心，我们会逐一说明这些项目。

首先，在 OpenGL 中，有一个剪裁点/对象的概念，它们位于 near 和 far 平面之间。然而，在 OpenCV 框架中，我们认为位于主平面和正无穷远之间的任何点都是可视点，这在 OpenGL 中并非如此。为了解释这些平面，在图像空间中的剪裁（在上一节中）在 OpenCV 中非常直观——如果点不在图像中（定义为 $\in [0,cols)\times [0,rows)$)，则不绘制它——OpenGL 使用 4 元齐次向量来实现类似的目标。

我将 OpenGL 的 NDC 坐标表示为 ${\mathbf{x}}_{GL}$，它是一个具有 4 个元素的列向量。它也是一个齐次向量，其最后一个元素通常用字母 w 表示。与 OpenCV 表示法中一样，我们通过除以第 4 个条目（再次假设从 0 开始索引）对图像点 ${\mathbf{x}}_{GL}$ 进行归一化；我将称 4 元素向量在最后一个元素等于 1 时归一化：

$${\mathbf{x}}_{GL}=\frac{{\mathbf{x}}_{GL}}{{\mathbf{x}}_{GL}(3)}$$

与以前类似，我们得到相似的结果：

$${\mathbf{x}}_{GL}(0)=x_{NDC}$$$${\mathbf{x}}_{GL}(1)=y_{NDC}$$$${\mathbf{x}}_{GL}(2)=z_{NDC}$$$${\mathbf{x}}_{GL}(3)=1$$
这些坐标不一定是图像坐标。OpenGL 需要 z 值来计算对象的绘制顺序。NDC 空间是一个每边长度为 2 的立方体，其尺寸为 $[-1,1]\times [-1,1]\times [-1,1]$。Song Ho 的网站上有一些关于 NDC 空间的很好的插图。

如果 $({\mathbf{x}}_{GL})$ 中的任何坐标 a 满足 $\mid a\mid >1$，那么 ${\mathbf{x}}_{GL}$ 将不会被绘制（或者说，带有该坐标的边缘将被剪裁）。换句话说，如果任何坐标小于 -1 或大于 1，那么它就在 NDC 空间之外。

您可能已经注意到，OpenGL 操作的输出并不是我们在 OpenCV 中习惯使用的真正的图像坐标——换句话说，不是数据矩阵中的坐标。您是对的。OpenGL 负责将其转换为图像空间，但了解这些转换是如何工作的是很有用的。因此，为了故障排除目的，请参阅下面的转换公式框。

---

要将 OpenGL 的 NDC 坐标转换为 OpenGL 图像坐标，其中 ${\mathbf{x}}_{image,GL}$ 是一个3元素向量，且 ${\mathbf{x}}_{GL}$ 已经归一化：

$$x_{image,GL}=\left[\begin{array}{ccc}\frac{cols}{2}& 0& 0\\ 0& \frac{rows}{2}& 0\\ 0& 0& 1\end{array}\right]x_{GL}$$
​

注意，由于 OpenGL 中的图像坐标系统与 OpenCV 中的定义不同（参见图 3），因此需要进一步转换才能将这些坐标转换为 OpenCV 坐标：

$$x_{CV}=\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ 0& rows& 1\end{array}\right]x_{image,GL}$$

---

OpenGL投影矩阵

首先，使用 OpenCV 矩阵中的 $[\mathbf{R}\mid \mathbf{t}]$，但在其上添加一行使其成为方阵。例如：

$$[\mathbf{R}\mid \mathbf{t}{]}_{GL}=\left[\begin{array}{cccc}& \mathbf{R}& & \mathbf{t}\\ 0& 0& 0& 1\end{array}\right]$$

假设您在 OpenCV 上下文中拥有一个内参矩阵 ${\mathbf{K}}_{CV}$，其形式如下：

$${\mathbf{K}}_{CV}=\left[\begin{array}{ccc}\alpha & 0& x_0\\ 0& \beta & y_0\\ 0& 0& 1\end{array}\right]$$

接下来，我们将使用这个修改过的 OpenCV 矩阵 ${\mathbf{K}}_{CV}$ 来创建对应的 OpenGL 矩阵 ${\mathbf{K}}_{GL}$ 透视投影矩阵。注意：在 OpenCV 内参矩阵的第一行第二列中的偏移参数很可能也可以通过类似 Kyle Simek 指南中描述的方式在 ${\mathbf{K}}_{GL}$ 表示中对该参数取负值来在 OpenGL 中建模。然而，我没有测试过这个，而且我在标定时倾向于将偏移参数设置为零，所以留给你来测试！

在完成这些准备工作，并以图像的 rows 和 cols 作为尺寸后，我们在 OpenGL 上下文中定义两个新变量以及新的内参矩阵。

$A=-(near+far)$
$B=near\ast far$
${\mathbf{K}}_{GL}=\left[\begin{array}{cccc}-\alpha & 0& -(cols-x_0)& 0\\ 0& \beta & -(rows-y_0)& 0\\ 0& 0& A& B\\ 0& 0& 1& 0\end{array}\right]$

$\mathbf{NDC}=\left[\begin{array}{cccc}-\frac{2}{cols}& 0& 0& 1\\ 0& \frac{2}{rows}& 0& 1\\ 0& 0& \frac{-2}{far-near}& \frac{-(far+near)}{(far-near)}\\ 0& 0& 0& 1\end{array}\right]$

现在，仔细看一下图 2 和这些矩阵，你可能会想，“天哪，为什么要在正负之间来回切换，从右手坐标系切换到左手坐标系等等。这不是拖累吗？”对此，我的回答是：“是的。”但是有几点需要注意：我从计算机视觉爱好者的角度介绍 OpenGL 管道，喜欢 H-Z 书和 OpenCV，并且有一定程度的手势。实际上，更令人困惑的是，OpenGL 的摄像机坐标系以负 z 轴为主轴。我再说一遍，以防你看到这里还没有注意到——如果你有标定时假定负 z 轴为主轴的矩阵，请查看其他资源。我做了很多测试以确认这是有效的。

在深入了解之前，如何测试您的相机模型？使用 Matlab 或 octave（免费）这样的脚本语言最简单，您还可以使用 C++ 和 Eigen、Python 或任何您熟悉的其他语言来完成。

• 从世界空间中获取一个坐标，这可以是来自对象（3D模型）文件。这是 $\mathbf{X}$，请记住，我们使用的是齐次坐标，因此它有 4 个元素。
• 使用您拥有的矩阵在 OpenCV 中计算投影到图像平面的${\mathbf{x}}_{CV}$ 。
• 将 OpenCV 矩阵中的所有值替换为上述 OpenGL 矩阵。请注意，Matlab 和/或 octave 是从 1 而不是 0 开始的索引的语言——相应地进行调整。
• 如果${\mathbf{x}}_{CV}$在图像平面上，那么${\mathbf{x}}_{GL}$也应该在图像平面上。如果在归一化后，${\mathbf{x}}_{GL}$ 的任何坐标小于-1或大于+1，那么它将被裁剪。如果出现问题，请在此处进行故障排查！
• 使用转换来检查 OpenCV 坐标是否等同于 OpenGL 坐标。

图 3. 上部子图展示了 OpenCV 和 OpenGL 上下文的图像坐标系统。左下角显示了 OpenGL 坐标系统的行（r）和列（c）索引的定义；OpenGL 坐标系统和图像坐标系统相同（r=y）。OpenCV 上下文中矩阵的原点在左上角，因此需要对从 glReadPixels() 抓取的 OpenGL 图像进行垂直翻转。

最后，我将以关于 数据矩阵(像素坐标系) 布局的一个学术观点来结束，换句话说，包含数据像素的行和列的索引，以及与图像坐标系统无关的布局。OpenGL 的布局与 OpenCV 不同，我在“转换角”中提到了这一点，并在图 3 的说明中详细描述和说明。

我的代码（此处）目前使用 OpenGL 渲染场景，具有正确的方向。然后，使用 glReadPixels() 抓取缓冲区，并将其写入 OpenCV Mat 图像结构 - 上下颠倒，以使其变为正向。详细代码信息参考原博文。