对SGM中主要算法的理解

上一篇主要讲了双目立体视觉中的对极约束和深度计算，我们知道解决深度问题，关键就是找到视差（disparity）。本篇还是我在之前group meeting上分享的，主要涉及Stereo Processing by Semiglobal Matching and Mutual Information by Heikoin 2008 IEEE论文中对MI（mutual information）和DP（dynamic programming）的理解。希望有兴趣的童鞋能不吝赐教！

首先回顾一下，立体视觉匹配的一般过程：

简单阐述一下：确定用什么来衡量matching cost，有很多思路，比如SSD/SAD是比较普遍（简单）的，用一个移动窗口扫描式的检测窗内每组点的像素差的绝对值，它们求和得到此窗口的matching cost。然后通过一种算法来找到最佳匹配点路线，使得cost aggregation的error最低。我们找到匹配路线之后就可以计算视差了，之前两步仅仅在单方向（比如从左到右）考虑的，可能会导致视差图拖尾效应，一些更完善，降低算法误差的方法可以被使用。最后为了提高图像处理精度，也可以考虑对灰度图亚像素化。

Heikoin的论文中涉及到的上述过程，我暂时只学习了前三步，希望分享的内容能帮到大家。

对论文标题的解读：半全局的意思是并没有使用参考图像的所有像素点而是部分像素点，这应该是比较合理的，毕竟还有类似于像素点遮挡（在目标图像对应位置消失）的情况。衡量matching cost的是互信息（MI），还可以用于图像检测等。而动态规划算法可以在对极约束的条件下根据参考图像中的所选兴趣点（这里兴趣点可能不是角点检测出来的点，主要是排除overlapping的情况）找到最佳匹配路线。

OK，我们先来看看MI的原理和应用吧！