本文仅用于个人学习记录总结,不保证正确性,仅供参考。转载请注明出处。
0. 前言
最近在学习EMVS时,里面多次提到DSI(Disparity Space Image)这个名词,但经过搜索,对这个词解释的内容不多,同时看论文时发现不同的论文对这个词含义的解释也不完全相同。本着严谨学术的角度,我查阅了一些资料,整理出了一些关于DSI的介绍。
1. Disparity-Space Images and Large Occlusion Stereo 一文中的解释
[2]这篇文章或许是最早提出DSI这个名词的论文(1994年),所以我认为一般说到DSI就是指这篇论文的描述。直接截取论文的原文如下:
可以看出关键的描述是黄色部分,即:(左)DSI的水平线对应左目图像中某个scan的横坐标,DSI的一列表示左目这个坐标点不变的情况下,右目中不同的视差进行匹配的结果。这样得到的DSI的分辨率应该是N行M列,N表示左图中每个点在右目中匹配的次数,M表示在左图中一次scan时采样的点。
需要注意的是,每个DSI对应的是,左目图像中一次scan的结果,即一条极线匹配的结果是一幅DSI。
在参考资料[3]中,形象地解释了DSI,可以推测,这就是较为准确的DSI的含义。
图1:左图中一个点在右图对应的极线上进行搜索,得到匹配的值,值越小表示匹配越准确,可以看出在右图对应位置存在最低点
图2:左图中三个点对应了右侧DSI图的三条垂直线,每条垂直线上纵坐标为与双目右图中的匹配值。这张图有一些误导的地方在于,DSI的行数画的和左侧的行数相同,其实这两个没有必然关系。DSI的行数应该是双目右图中搜索的数量,如果是1像素作为步长,那么DSI的行数应该就是双目图像的列数。
图3:一次scan构建的完整的DSI图。横坐标“Left scanline”应该指,左目中scanline中不同的坐标,纵坐标“Right scanline”指右目中的坐标。可以这样理解:DSI中的同一行,表示右目中对应的点在左目中所有匹配;DSI中的同一列,为左目中一个点,在右目中对应极限的所有匹配。
图4:在完整的DSI中,左下角这一半为“负的视差”,即左目中一个点在右目搜索时,在对应像素的左侧,视差是负的。在双目情况下,这个区域是不存在匹配的,因为左目的点的横坐标,一定是位于右目中的左边。右上角一部分也进行了排除,这是超过了视差的最大值,即左右目的视差不会超过d。所以有可能的匹配只存在于中间这个带状区域,进行拉伸得到了下面的条状图。
2. Sampling the Disparity Space Image 一文中的解释
[4]这篇论文中,对DSI是这么描述的:
可以发现,这里每个DSI,对应的不是左目中一条极线,而是一个视差值。每一个视差下,左右目在这个视差下的误差,构成了一幅完整的DSI,所有的视差构成了多个切片。这样定义的DSL是一个三维的空间体,
D
S
I
L
(
x
,
y
,
d
)
DSI_L(x,y,d)
DSIL(x,y,d)分别为左目中一个点
(
x
,
y
)
(x,y)
(x,y)在视差
d
d
d下的DSI图。这种定义看起来非常清晰明了简便,以至于我一开始以为这就是DSI应有的定义。
3. Stereo Matching with Transparency and Matting 一文中的阐述
严格来讲这篇文章没有提到DSI这个词,而是采用的"Disparity space representation/ generalized disparity space"。简单来说,就是在一个虚拟参考相机下,将空间进行了切片。然而EMVS这篇论文把用的这个方法称作了DSI,这完全是搞错了含义好不好。
4. 小结
本人对DSI这个概念进行了查阅,总结在此篇博客。虽然是从为了学习EMVS这篇论文中的DSI概念,结果搜索后发现EMVS使用错了DSI的概念,于是顺带复习了一下Stereo。看来还是不能随便相信论文中的表述,需要自己一探究竟。
参考文献
[1]. Henri Rebecq, et. at. EMVS. Event-based Multi-View Stereo. (2016)
[2]. Stephen S. Intille and Aaron F. Bobick. Disparity-Space Images and Large Occlusion Stereo. (LNCS/ECCV, 1994)
[3]. Robert Collins, CSE486, Penn State. Lectoure 09: Stereo Algorithm
[4]. Richard Szeliski and Daniel Scharstein. Sampling the Disparity Space Image. (IEEE Trans. PAMI, 2004)
[5]. Richard Szeliski. Stereo Matching with Transparency and Matting. (IJCV, 1998)
参考论文打包下载:链接: https://pan.baidu.com/s/1Ob-LPnZQ6ckPFsWbtjf3Dg 提取码: e7pa