目录
匹配问题
好了，我们继续研究这个对应问题。这里我们有两张照片（如图），这是Andrew Zisserman提供的。这是一条极线，这是水平的极线（如图）。
这里我们有两条扫描线，左边和右边的图像，还有一个强度分布图（Intensity profiles image）（如图1）。当然，它们看起来非常相似，因为在这个过程中应该有匹配。但是你知道，在这些配置文件的外观上有一些细微的差别，这里有一些噪音（如图2）也可能有一些含糊不清的地方你在这里匹配（如图3），那边可能会有挑战。
1 
2
3
所以我们要更仔细地看一下（如图）。我们从左边拉出一扇窗户。我们要沿着极线滑动右边的窗口。
all right，让我们来看一个特定的窗口，我给你们看的这两个小条纹大概是窗户的高度。从左边的图像带，我们要抽出一个特定的点。好了，这是这个点（如图1），它的窗口与之相关。所以这意味着我们要拉出正确的带（如图2），这是一样的，这是极外带，如果你愿意，这是极外线，但与窗口高度有关。
1
2
我们要把这个窗口从左边滑到右边。如果我们这样做，我们做的是，比如说，互相关联，well，你会看到这个漂亮的高峰就在它应该匹配的地方（如图1）。所以窗口是在这两个黑色方块之间选择的（如图2），当然最好的匹配就在这两个黑色方块之间就像你期望的那样。
1 
2
当然，问题是我们在一个漂亮的物体上加了一扇窗，实际上它看起来很像一个测量者的目标，有黑色的正方形和白色的正方形。
如果我们的窗口落在左边图像带的这个区域上面会发生什么?（如图1） 我的意思是，在张力上有一些变化，在这里很难看到。现在，如果我把它和右边的频带联系起来，会得到什么? 我看到的结果是这样的（如图2），okay?
1 
2
当然，问题是，匹配在哪里?（如图1） 因为你会注意到，我有一个很好的强匹配在0.5以上。现在我得到了多个匹配，我知道这个匹配应该在有问号的地方。但是很难证明选择这一项优于其他任何一项。
1 2
那么我们如何解决这个问题呢? 当然，我们的问题是，窗户太小了，它没有捕捉到任何有意义的纹理。
好区域匹配 测验
那么你认为图像中的哪些区域适合立体匹配呢? 在每个适当窗口旁边标记复选框。让我们假设我们的立体设置有共面图像平面，并且极线是水平的。
你们已经看过其中两个了。那个有两个黑角的弯合在一起的（如图），是很强的匹配。
1
我们看到墙上的这个区域基本上没什么特色（如图）。
同样，任何太亮或太暗的区域，信息都太少，无法提供有用的信息。
同样的，只有水平边缘穿过的区域，像这样（如图1），或者这个（如图2），在我们的立体设置中是没有用的。这是因为它们可以在极线上产生多次匹配。
1 
2
那么，哪些是好的呢? 任何带有明显拐角的东西都可以。垂直边界分明的地区也是可以的。如果你考虑穿过它们的极线，你会发现图像中没有其他区域与这条线匹配。
窗口大小的影响
你可能会说，与其用小窗口，不如用大一点的窗口，所以问题是，我们应该如何选择窗口的大小，就像我们讨论缩放一样，没有简单的答案。
这是另一个立体对的例子，我只给你们看左边。所以如果我做一个滑动窗口立体，对于一个小窗口（如图1），well，我得到了树枝，树的分支，但是你会注意到所有这些，我认为技术词汇是扯淡，到处都是。这是一个视差图像，我的地面应该从近到远，不应该到处都是破烂的。
那么我该怎么做呢? 显然，由于噪声和其他原因，我需要将窗口放大以获得更健壮的匹配。如果我把窗户变大（如图），就会得到这个漂亮的地面图案，你可以看到它从近到远，后面的树更远（如图）。但是注意这里的树枝发生了什么（如图），好吧? 窗口太大了，当你把它放到一个分支上，它得到了分支和背景，它不知道该做什么。
1
2
正如我之前在这个内容上说的，大小总是一个问题，没有神奇的答案。
遮蔽（Occlusion）
我想谈谈我们在对应问题中讨论过的另外两个约束问题。我可以讲很多，给你们一些启发。
一个是唯一性，另一个是排序。
所以，唯一性意味着，对于左边的每一点，在右边的图像中匹配的不超过一个，反之亦然。同样的事情，好吧? 为什么说不能超过一个? 不应该正好是1吗? 嗯，不。问题是遮蔽（Occlusion）。这里有说明。假设我有一个绿色的条在一个红色的条前面（如图）。all right。
这是我的左图像，这是我的右图像（如图1），这些是在我的左图像中看到的像素，这些是在我的右图像中看到的像素（如图1）。
你会注意到，这里有两个红色的，然后两个绿色和一个红色，这里有一个红色，两个绿色和两个红色（如图）。
问题是这些像素被遮蔽（occluded）了（如图1）。我们所说的遮蔽，是指它们只可见，有时它们被称为半遮蔽（half occluded），因为这个像素只在左边的图像中可见（如图2）。这个像素只在右边的图像中可见（如图3）。在这里。okay。
1 
2
3
这发生在遮蔽边缘。如果我这样拿着它。所以，如果梅根，如果我让她闭上左眼，她的左眼看不到你的另一只左眼。但是如果我让她换另一个，她可以用右眼看到。这个指尖只能在她的一只眼睛里看到。所以，这就是为什么你不一定有唯一的解每个像素在每一帧中都是匹配的。
顺序约束
顺序约束（Ordering Constraint）基本上是说如果我在左边的图像中有a b c的像素，它们会以相同的顺序出现在右边的图像中。这就是当我观察一个固体表面时通常发生的情况。什么时候相反了呢? 嗯，当我不看一个固体表面的时候。这是SSS，非常酷。那么什么不是单一的固体表面呢? well， 一些事情。首先，我们不能是固体。现在，不是固体是什么意思? Well ，假设你有一个透明的表面上面有一些标记，okay? 假设这是一个透明曲面（如图1），all right? 我们可以看到这些点，all right?
1 
2
Well，如果它们是透明的，它们会按这个顺序排列A B C（如图1），但是在这里，它们会是C A B，all right? 这是因为我们可以透过表面看到东西。这真的很奇怪，而且几乎从未发生过。
1 
2
更经常发生的是有时被称为钢笔的东西，浮动笔，我忘了（如图）。不管它叫什么。基本上，如果我有一个狭窄的遮蔽面，你可以做一个简单的实验。如果你想做立体，把你的两个手指放进去，一个在另一个的前面，在你的左眼，这个手指在这个的左边，但是在你的右眼，另一个手指在这个的左边，所以它交换。
因此，如果你有一个立体算法试图找出如何进行匹配这个问题。我将告诉你，目前立体算法做大量的工作来处理遮挡问题，因发生的所有的时间，因为如果我有一个边，面前的另一个对象的对象，会有像素是可见的一只眼睛或一个相机，而不是其他。目前的立体算法对于相反排序约束的问题还不是很好。各种大小的问题，等等，这就是目前的技术水平。
扫一扫
604
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
