双目立体视觉

一、基于平行视图的双目立体视觉

1.平行视图相关性质

对F矩阵进行改造

F与另一个极点、两个相机内参数以及相机间的旋转有关系

因为是平行视图所以不存在旋转，K=K‘ ,极点e'为无穷远点。

第一个视图的极线 l 的方程为y=pv’，极线为水平线且平行于u轴

p和p‘的v坐标一样。

结论：

        1.极线是水平的且平行于u轴。

        2.极点位于无穷远。

        3.p和p’的v坐标一样

        4.p'点沿着扫描线搜索即可

2.平行视图的三角测量

引出两个核心问题：

        1.如何或者平行视图：图像校正

        2.如何建立对应点之间的关系：对应点搜索

二、图像校正

步骤：

第一步、1.在两幅图像I和I'找到一组匹配点pi pi‘，不少于8个

第二步、计算基础矩阵F，求解极点e和e’

第三步、3.选择透视变换H将e'映射到无穷远点(f,0,0)

                

第四步、寻找对应的透视变换矩阵H使得下式最小
                        ​​​​​​​        ​​​​​​​        

第五步、分别使用矩阵H和H',对两幅图进行重采样。

总结：

三、对应点搜索

1.相关匹配法

问题：亮度/曝光度发生变化，导致灰度发生巨大改变

改进：归一化相关匹配法

窗口大小的影响：

        较小的窗口

                1.细节丰富

                2.更多噪声

        较大的窗口

                1.视图差更平滑、噪声更少

                2.细节丢失

存在更好的方法：图像分割法（Graph cuts）

https://legacy.sites.fas.harvard.edu/~cs278/papers/bvz.pdf

问题：

1.

2.

3.

4.