15.立体几何——介绍，为什么多个视图，深度和形状线索测验，人类如何在3D中看到东西_1

最新推荐文章于 2022-08-06 13:08:21 发布

Tom Boom

最新推荐文章于 2022-08-06 13:08:21 发布

阅读量720

点赞数

分类专栏：机器视觉技术文章标签：机器视觉

机器视觉技术专栏收录该内容

80 篇文章 89 订阅

订阅专栏

介绍

今天，我们将开始谈论立体，这个特别讲座是关于立体几何的。一般来说，接下来的几个文章将是关于相机几何和场景几何之间的关系。我们开始使用立体，因为坦率地说，你们会在一个问题集中这样做，我希望能够带你快速到达那里，而且从某种意义上说，它是概念上最简单的入门方式。

因此，立体就是一个图像有多个视图的特殊情况，两个特定的视图，这是一个花瓶的两个视图的例子（如图）。事实上，我们将会谈到这个特定的数字，哦，稍后我们谈论一点极线几何（Epipolar Geometry）时。但是这个想法是两个视图之间存在这种关系，你可以用它来恢复那里的深度。

我们还将看一下具有任意不同视图的类型，这是一个图像来自使用特殊功能来对齐对象并能够检测到它们在那里（如图），但是，再次，你有两个不同的观点和你必须弄清楚它们之间的关系。

这是你可以从立体中的一个例子，所以左边的图片是立体对的一半，右边是粗糙的深度图，越亮越好，它们越近，事实上，我们' 我将谈谈如何准确计算。

一般来说，你可以有很多视图，你可以从一大堆地方拍摄图像，或者一大堆方向，这是一个关于这些图像如何相关的问题。关于图像如何相关以及它们如何与场景相关的概念，这就是我们将要关注的内容。

为什么多个视图

所以要问的第一个问题是，为什么有多个观图？显然，从单一视角来看，结构和深度本质上天然的是模棱两可（暧昧）的。请记住，我们正在从3D投影到2D？当我们这样做时，我们会丢失信息。

这里有一个男人推着比萨斜塔进一步倾斜的例子（如图1）。要么他非常大，建筑物非常小，要么在从3D投影到2D时存在歧义。或者，那些我们这些在美国长大的人，那是一个伟大的南瓜（如图2），查理布朗。所以这可能是一张看起来像这样的照片。那个真的是一个很棒的南瓜。但是，当然，这里真正发生的是相机的位置使得这张照片看起来像南瓜非常大。

1 2

什么是根本问题？嗯，从透视投影来看，根本问题就出现了。我们这里有一个光学中心（如图1），all right，我们有几个点，如P1 和 P2 沿同一条射线投射（如图2）。当然，因为它们沿同一条射线投射，所以它们落在同一点P1' P2 '。所以这就是歧义的来源。问题是如何清楚的知道P1和P2的正确位置。当然，诀窍在于看一个不同的相机。

1 2

深度和形状线索测验

当您查看图像时（如图），哪些属性表明深度的差异，或提供有关对象形状的提示？考虑在场景中传达结构信息的各种特征。

1 2

工作中不仅仅是立体。毕竟，您在平面显示器上看到这些图像。

键入您发现的深度和形状线索，随意看看其他的图片，或者就在你身边寻找灵感。

我能想到的一些深度和形状线索是：阴影（shadows），纹理（texture），焦点或模糊（focus or blur），平行或会聚线（parallel or converging），光照（lighting），阴影（shading），彼此遮挡的对象，以及对象的大小和比例。

人类如何在3D中看到东西

所以在我们考虑如何在机器上做这个之前，人类呢？人类如何看待3D，all right？坦率地说（frankly），我们实际上只能用一只眼睛做到这一点，然后才能达到两只眼睛，因为我们在其中，我们会看到这些不同的线索。

这是一个例子（如图）。当你看这张照片时，事实上，当你在一张纸或一个屏幕上看任何平面图片时，这里只有平坦的真实深度，你会看到场景中的深度。所以，这里我们有透视效果（如图）。你认为那些房子的大小都是一样的，它们逐渐消失的距离使它们变小。所以你从这个透视效果中感知深度。

阴影（shadows）（如图），这是左边的图片， b 和 c 是使用自动方法尝试恢复深度的一些复原方法。它只使用阴影信息。你假设皮肤有一种特定类型的反射，你的大脑就会发现它的深度。顺便说一句，这就是使用某种化妆品的原因，right？通过更改脸颊上的阴影，可以更改脸部的明显形状。当然，即使你没有改变面部，你也只是改变了反射。

纹理（Texture）（如图），在这里你看到一堵墙，你可以看出墙壁有点弯曲。那是因为它上面的纹理元素正在发生变化。那些圈子上有小线条的圈子，这是能够从纹理中恢复方向的早期尝试。

Loh最近完成的一项工作，你有一张照片（如图）。你看到草莓，你看到了纹理。当表面远离你时，纹理会发生变化。并且系统实际上试图从纹理的变化恢复表面高度或方向。

这是一个非常酷的。请记住，我们在真实镜头中谈到过，这里有一个深度的焦平面。也就是说，世界上有一些平面就是一个深度，就是那个，它集中在图像平面上。而且，你越远离那个特定的位置，你变得越失去焦点。因此，你也许可以在改变光圈的同时，观察图像的焦距变化。请记住，一个非常小的光圈，一切都在焦点。当你打开光圈时，景深会缩小。这意味着远离焦点平面的事物变得更加模糊。所以你实际上可以从同一个点拍摄多张图像，改变光圈并计算出来。所以这有点像作弊。因为是的，它是一只眼睛，但它是多张图片，好吧？这是他们从散焦中恢复3D到形状和深度的图像（如图）。

最后一个，这是我们实际上稍后会看到的。事实上，它实际上与立体有关，这个想法是从一只眼睛，如果有什么东西移动，你可以告诉它的形状。现在，这是一尊雕像。你很难弄清楚你会使用的动作。大多数情况下，你正在看阴影。

所以这是一个更简单的例子，all right？现在，如果我们所有的视频神都正常工作并且网络工作正常，并且你有足够的带宽，而且月亮与Ju的第七宫就在阳光下，无论那是什么。无论如何，你应该看到一个旋转的圆柱体（rotating cylinder）。现在，有些人会看到它逆时针旋转（Counter-Clockwise），有些人会看到它顺时针旋转（Rotating Clockwise）。那是因为你不能确定选择向右移动的点，是在圆柱体的前面，还是在圆柱体的后面。但是这个想法，纯粹是从运动中，你看到这个圆柱旋转。如果你仔细考虑一下，这真的很神奇，我们稍后会在课堂上谈谈动作的结构。但这个想法来自一个单一的图像，但是移动的东西，你可以获得深度。我们将在一分钟内回到这一点，因为它是一个单一的图像，随着事物的移动。好吧，我们也可以有两个图像，其中的东西保持不变。