19.内在摄像机校准——介绍，理想与真实固有参数之比，改善内在参数_1

最新推荐文章于 2022-09-08 19:46:27 发布

Tom Boom

最新推荐文章于 2022-09-08 19:46:27 发布

阅读量416

点赞数

分类专栏：机器视觉技术文章标签：机器视觉

机器视觉技术专栏收录该内容

80 篇文章 88 订阅

订阅专栏

介绍

理想与真实固有参数之比

改善内在参数

介绍

欢迎回来介绍计算机视觉。今天我们要讲的是相机的内部校准。上次，我们说过，我们一般会做几何校准（calibration），校准有两部分。第一个变换是从任意的世界坐标系到摄像机系统或者摄像机的姿态，这是外部参数，它从，世界坐标映射到摄像机坐标，或者摄像机坐标映射到世界，这取决于你怎么想。当我们把它写成T W C时，它把你从世界带到摄像机前。

我们用齐次坐标表示它，这里的世界坐标p在这个世界坐标系中表示，它是齐次的，所以下面有一个1（如图1）。我们通过旋转分量（如图2）和变换分量来得到摄像机坐标下的三维点（如图3）。

并且，那个世界对摄像机矩阵和编码什么叫做外源参数或外源参数矩阵。我们也说过，它编码了6个自由度，3个平移，3个旋转。今天，我们要讲的是第二个变换它是从三维摄像机坐标到二维图像坐标或二维图像平面。这些被称为内部参数（intrinsic parameters），我们会再次得到内部参数矩阵。

理想与真实固有参数之比

你可能会说，哇，我们不是已经这样做了吗? 我们做了理想的透视投影，我们说某个值u等于焦距乘以x除以z，v等于y除以z乘以f（如图）。所以你可能会问，我们还没完吗? Well ，不，因为那是在一个理想化的世界里。

回到这里的第一个问题是，f 可能在，你知道，毫米内，所以我们可能有一个10毫米的透镜，或者50毫米的透镜，但是像素，屏幕像素，它们在任意坐标下，right? 这取决于我们在传感器中每毫米有多少像素。首先我们介绍 $\alpha$ 可以缩放这个值的（如图），因为我们不知道 f 是多少。有时人们会给你一个 f，焦距，单位是像素，这有点奇怪。但实际上，他们所做的是，他们给你的是这个组合值，这是一种从毫米到像素的转换乘以毫米，只是给你的，和像素。但基本上，因为它们可能是任意的单位，我们有一个比例因子 $\alpha$ 。这是一个自由度。

但是，谁说像素是正方形的? 梅根，你说像素是正方形的吗? 不。现在，像素比以前更正方形了。他们过去很酷，现在，不，没关系。不管怎样，现在的像素比以前更方了。以前，在电视时代，像素和电视有着相同的宽高比。所以一个像素比它的高要宽，其他一些东西，它们比它们的宽要高。它们不一定是固定的。

事实上，我曾经校准过的一些CCD数组，结果几乎是正方形的。大概95%的高度等于宽度，all right? 因为它们不是完全平方的，所以u方向和v方向之间可能有一个单独的比例因子。现在我们引入了 $\beta$ 。现在我们有两个自由度。但这还没完。

接下来，你们还记得我们在做理想投影的时候，把投影的中心放上去。我们把中心投影放在摄像机坐标系中。就好像图像是这样拍摄的，0在中间。当然，我们没有任何保证，right? 图像可能是从窗口的某个部分裁剪出来的。或者，图像的位置实际传感器可能需要，可能没有与摄像机的光轴对齐。我们有两个偏移量，u和v偏移量，u0 v0。现在我们有1 2 3 4个自由度。两个比例因子和两个偏移量。

我们做完了吗? 但等等，还有更多。真正丑陋的人来了。我们假设u方向和v方向是垂直的。如果有一点倾斜呢? 所以u和v有天晚上出去喝酒，他们回来喝了一会儿，all right? 这就是图中显示的。理想的u和v是这样的（如图），okay? 但也许传感器确实以这种（如图2）和那种方式采样。

也就是说，u v的实际采样，不是永久的，不是垂直的，它们偏离了某个角度 $\theta$ 。这就是这些方程告诉你的。它们向你展示了被测量的v '和实际的v，u '和实际的u之间的关系（如图），

所以，当你把这些代入我们刚刚得到的方程时，你会得到这种难看的东西（如图），okay? 这是很难看的外显函数，不好意思，是内参数表示。现在我们有多少? 我们有 $\alpha$ 和 $\beta$ ，这两个比例因子。这是两个自由度。两个偏移量的u0和v0。加上 $\theta$ ，也就是偏置。

改善内在参数

这很难看，我们想让它更好，我们要通过两种方法来做。首先，这里有一些更难看的等式，你们首先会注意到，就像之前一样，我们把x和y除以z，all right。这应该告诉你我在这里写了非齐次坐标下的内部参数。Well，你猜怎么着?

我们要通过把整个式子化成矩阵的形式来得到齐次坐标。现在我们可以用齐次坐标表示整个式子。注意这里我们有z*u，z*v，z（如图1），所以当我们把齐次变换回非齐次的时候，我们除以z，就得到了我们想要的。这里是xyz1，中间是这个矩阵（如图2）。

所以我们可以把它重写成，这个非常简单的方程，在摄像机的框架中有一个三维点（如图1）。记住，我们已经从某个世界，任意的世界框架到摄像机的三维框架。我们从这个变换到均匀（如图2）的像素表示，像这样（如图3），

在图像中。从相机到图像的矩阵，这是内在矩阵（Intrinsic Matrix）。这个矩阵代表了内在参数。幸运的是，我们可以让它看起来比这个更好。首先要注意的是K的最后一列，当我把K写成3×4矩阵时，K的最后一列是0。这没什么用，我们可以把它去掉。然后我们可以做更多。这里我们有了更善良、更温柔的本质（如图）。我们可以用一个更简单的符号。就像我说的，我们要移除最后一列。我们已经摆脱了显式的。你会注意到我们有五个自由度。我们有 f 是焦距，a是长宽比，s是歪斜，cx和cy是偏移量。

顺便说一下，还记得我说过我们可以有两个不同的量表吗? 1的刻度，u的刻度和 v的刻度? 或者我们可以得到焦距和两者之间的相对比例尺。通常，我们倾向于这样想，焦距。这是图像的总焦距。然后，如果宽度和高度之间存在非均匀关系，我们把它作为长宽比。这就是为什么有五个自由度。现在，结果是，这个会变得更简单。让它变得简单的方法是我们假设宇宙是美好的。宇宙的美妙之处在于，如果我们有正方形像素，如果没有歪斜，如果光学中心在中间。然后我们没有a，没有s，没有cx，没有cy，剩下的只有f（如图1）， f 是剩下的唯一的自由度。当你在做校准时，一种轻量级的校准，你要做的就是搜索f，假设你的光轴在中间，假设没有歪斜，假设像素是正方形。