双目视觉标定－1.视觉成像理论知识

在这篇文章里面，我们会讨论视觉成像理论，以及现实世界中的3D坐标如何转换成照片图像中的相应坐标2d pixel坐标，语言十分通俗，对初学者很友好

目录

0. 相机导致的画面畸变 Distortion

1. 世界坐标体系 World Coordinate System

2. 相机坐标体系 Camera Coordinate System

3. 图像坐标体系 Image Coordinate System

4. 总结

---

0. 相机导致的画面畸变 Distortion

针孔相机会引起画面的畸变，一共有两大种类的畸变：

1. 径向畸变 Radial distortion

        导致直线变弯，离镜头中心越远的点, 产生的畸变越多. 比如下图的棋盘格中的红线是直线，但是他对应的线条是曲线

2. 切向畸变 Tangential distortion

        由于照照片的棱镜与成像平面不是完全平行的，所以画面中某些部分看起来比实际上更近

 公式里面提到的畸变系数如下所示：

除此之外，我们还需要额外的信息，比如相机的内参以及外参矩阵，这些都会在后面详细介绍，内参矩阵其中包含焦距（fx，fy）光学中心焦点（cx，cy），内参矩阵可以用于消除由于相机带来的畸变，它可以被同样相机的使用情景下重复使用。

对于立体视觉标定应用，需要首先校正这些失真(畸变)为了找到这些参数，我们必须提供一些已知的明确的样本图像(例如棋盘格)。我们找到一些我们已经知道其相对位置的特定点(例如棋盘上的方角corner，两个黑色块块相交的角)。我们知道这些点在现实世界空间中的坐标，并且我们知道图像中的坐标，因此我们可以求解失真系数。

为了获得更好的结果，我们至少需要 10 个测试图像。 

1. 世界坐标体系 World Coordinate System

假如我们现在在一个房间中，我们想要标定某个点的坐标，第一步就是在现实世界找到坐标系和原点，假设把房间的东北角设为原点，向东是y， 向北是x，向上是z，我们就有了初始的世界坐标系，房间中任意一点P的坐标是（Xw，Yw，Zw），我们只需要测量两点之间的距离就可以得出来了

2. 相机坐标体系 Camera Coordinate System

我们在房间中放置一个相机，当然我们可以把相机也以同样的世界坐标系方向放置，而且要放置在世界坐标的原点，这样可以实现照相机坐标系与世界坐标系的统一。

我们希望的是相机在房间中随意放置，观察我们想要的方向。所以我们需要引入两个矩阵：

R 旋转矩阵 Rotation Matrix

t平移向量 Translation Vector

只要把它们旋转和平移就可以得到相同的坐标系和原点。R是3×3的矩阵，有九个元素，但是旋转其实只有三个自由度，先记住这个奇怪的配置。T有三个方向上的平移量，于是相机坐标系上的点Pc（Xc，Yc， Zc）可以表示成：

有时会写成一个更复杂的形式，t写成3×1的一列跟在R后面：

外参矩阵 extrinsic matrix

为了方程的齐次，我们在世界坐标系上的点加上了一个次数, (Xw, Yw, Zw)->(Xw, Yw, Zw, 1)

3. 图像坐标体系 Image Coordinate System

在相机坐标系下的（Xc，Yc，Zc）需要找到在成像图像上的相应位置。下面为大家说明方法下图显示了简单针孔相机Simple Pin Hole Camera情况下的相机投影:

针孔摄像机的光学中心是Oc，在现实世界中，通过这个孔会形成一个相反的像，理论上我们应该把形成的像旋转180度，但是这不是必须的，因为真实的相机传感器会以相反的顺序读取成像，从下到上，从右到左，于是图像的顺序会变正确。所以在这里一切从简，我们不考虑这个问题

成像平面Image Plane（上图灰色的部分）位于距离光学中心Oc（上图xy坐标系的原点）的焦距focal length f处，运用大家聪明的脑袋瓜子以及高中相似三角形（俺不知道是不是叫这个了都），就可以得出相机坐标系上的Pc （Xc，Yc，Zc）在图像上的点（x，y）的关系是：

可以写成如下的矩阵：

此矩阵就是大名鼎鼎的内参矩阵 Intrinsic Matrix K

相机传感器的分辨率pixel不一定是相等的，所以x和y方向上的focal length也是不同的，他们是fx，fy。真实的光学中心点在灰色图像的中心，这和成像图片的坐标系（u，v）不匹配。

何以见得，打开任意一张照片，把鼠标放置在左上方，一般会显示（0，0），此为照片的原点。
所以灰色图像光学坐标中心在最后的成像坐标系（u，v）中其实是（Cx，Cy），因为左上角是原点

此外，x和y坐标轴上会有轻微的偏斜skew 

最后成品版本的相机外参矩阵如下：

 图像上的2D pixel点（u，v）可以表示成:

 where,

4. 总结

step1：利用外参矩阵（其中包含旋转矩阵和平移向量），把真实世界的点投影到相机世界
step2：利用内参矩阵（相机内置参数，比如焦距，光学中心），把相机世界的点投射到2d pixel的图像世界

ps :欢迎大家点赞收藏，点赞真的很激励本大懒蛋创作