立体视觉问题的基本步骤,就是在完成摄像机标定后,在多幅图像中建立对应点对,然后重构场景中的三维坐标。这一过程也称为Structure from motion(SFM),即由一系列包含着视觉运动信息(motion signals)的多幅二维图像序列(2D image sequences)估计三维结构(3D model)的技术。
一 实验原理
1.整体流程
一般来说,通过立体视觉获得深度图需要校准,矫正,立体匹配,三角化四个过程。
2 2.
2.极线约束
图中红实线和绿实线分别是左右拍摄的极线,极线约束指的是左图极线(红实线)上的点,只能映射到右图极线(绿实线)上。
找对应匹配点的下一步工作就是要去寻找在右图中他可能存在的那条线极线了。
如果能将左右摄完美对齐,且他们的内参(焦距等)完全一致,就可将左右摄像头的极线校正成行相同的平行线。因此,左图上任意一点,在右图中只能映射到与其对应的相同行上,即两点行坐标V相同。这样就完美解决了寻找极线的问题。3
3.三角化
B Z = p p ′ Z − f = B − ( X R − W 2 ) − ( W 2 − X T ) Z − f = B + X T − X R Z − f \frac{B}{Z}=\frac{pp'}{Z-f}=\frac{B-(X_R-\frac{W}{2})-(\frac{W}{2}-X_T)}{Z-f}=\frac{B+X_T-X_R}{Z-f} ZB=Z−fpp′=Z−fB−(XR−2W)−(2W−XT)=Z−fB+XT−XR
B ∗ f X R − X T = B ∗ f d \frac{B*f}{X_R-X_T}=\frac{B*f}{d} X