探究Stereo中的DSI(Disparity Space Image)到底是指什么

本文仅用于个人学习记录总结，不保证正确性，仅供参考。转载请注明出处。

0. 前言

最近在学习EMVS时，里面多次提到DSI(Disparity Space Image)这个名词，但经过搜索，对这个词解释的内容不多，同时看论文时发现不同的论文对这个词含义的解释也不完全相同。本着严谨学术的角度，我查阅了一些资料，整理出了一些关于DSI的介绍。

1. Disparity-Space Images and Large Occlusion Stereo 一文中的解释

[2]这篇文章或许是最早提出DSI这个名词的论文（1994年），所以我认为一般说到DSI就是指这篇论文的描述。直接截取论文的原文如下：

可以看出关键的描述是黄色部分，即：（左）DSI的水平线对应左目图像中某个scan的横坐标，DSI的一列表示左目这个坐标点不变的情况下，右目中不同的视差进行匹配的结果。这样得到的DSI的分辨率应该是N行M列，N表示左图中每个点在右目中匹配的次数，M表示在左图中一次scan时采样的点。

需要注意的是，每个DSI对应的是，左目图像中一次scan的结果，即一条极线匹配的结果是一幅DSI。

在参考资料[3]中，形象地解释了DSI，可以推测，这就是较为准确的DSI的含义。
图1：左图中一个点在右图对应的极线上进行搜索，得到匹配的值，值越小表示匹配越准确，可以看出在右图对应位置存在最低点

图2：左图中三个点对应了右侧DSI图的三条垂直线，每条垂直线上纵坐标为与双目右图中的匹配值。这张图有一些误导的地方在于，DSI的行数画的和左侧的行数相同，其实这两个没有必然关系。DSI的行数应该是双目右图中搜索的数量，如果是1像素作为步长，那么DSI的行数应该就是双目图像的列数。

图3：一次scan构建的完整的DSI图。横坐标“Left scanline”应该指，左目中scanline中不同的坐标，纵坐标“Right scanline”指右目中的坐标。可以这样理解：DSI中的同一行，表示右目中对应的点在左目中所有匹配；DSI中的同一列，为左目中一个点，在右目中对应极限的所有匹配。
图4：在完整的DSI中，左下角这一半为“负的视差”，即左目中一个点在右目搜索时，在对应像素的左侧，视差是负的。在双目情况下，这个区域是不存在匹配的，因为左目的点的横坐标，一定是位于右目中的左边。右上角一部分也进行了排除，这是超过了视差的最大值，即左右目的视差不会超过d。所以有可能的匹配只存在于中间这个带状区域，进行拉伸得到了下面的条状图。

2. Sampling the Disparity Space Image 一文中的解释

[4]这篇论文中，对DSI是这么描述的：

可以发现，这里每个DSI，对应的不是左目中一条极线，而是一个视差值。每一个视差下，左右目在这个视差下的误差，构成了一幅完整的DSI，所有的视差构成了多个切片。这样定义的DSL是一个三维的空间体，$DS{I}_L(x,y,d)$分别为左目中一个点$(x,y)$在视差$d$下的DSI图。这种定义看起来非常清晰明了简便，以至于我一开始以为这就是DSI应有的定义。

3. Stereo Matching with Transparency and Matting 一文中的阐述

严格来讲这篇文章没有提到DSI这个词，而是采用的"Disparity space representation/ generalized disparity space"。简单来说，就是在一个虚拟参考相机下，将空间进行了切片。然而EMVS这篇论文把用的这个方法称作了DSI，这完全是搞错了含义好不好。

4. 小结

本人对DSI这个概念进行了查阅，总结在此篇博客。虽然是从为了学习EMVS这篇论文中的DSI概念，结果搜索后发现EMVS使用错了DSI的概念，于是顺带复习了一下Stereo。看来还是不能随便相信论文中的表述，需要自己一探究竟。

参考文献

[1]. Henri Rebecq, et. at. EMVS. Event-based Multi-View Stereo. (2016)
[2]. Stephen S. Intille and Aaron F. Bobick. Disparity-Space Images and Large Occlusion Stereo. (LNCS/ECCV, 1994)
[3]. Robert Collins, CSE486, Penn State. Lectoure 09: Stereo Algorithm
[4]. Richard Szeliski and Daniel Scharstein. Sampling the Disparity Space Image. (IEEE Trans. PAMI, 2004)
[5]. Richard Szeliski. Stereo Matching with Transparency and Matting. (IJCV, 1998)

参考论文打包下载：链接: https://pan.baidu.com/s/1Ob-LPnZQ6ckPFsWbtjf3Dg 提取码: e7pa