双目视觉系统的原理和设计

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

双目立体视觉原理

双目立体视觉三维测量是基于视差原理，下图所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图所示。

事实上左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。

假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到：

  由此可计算出空间中某点P在左摄像机坐标系中的坐标为：    

因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。  

双目立体视觉的系统结构以及精度分析

立体视觉系统的一般结构采用交叉摆放的两个摄像机从不同角度观测同一被测物体。也可以由一个摄像机实现，如一个摄像机通过给定方式的运动，在不同位置观测同一个静止的物体，或者通过光学成像方式将两幅图像投影到一个摄像机，都可以满足精度要求。  

各种双目视觉系统结构各有优缺点，这些结构适用于不同的应用场合。对要求大测量范围和较高测量精度的场合，采用基于双摄像机的双目立体视觉系统比较合适；对测量范围要求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。   

为了得到更高的精度，应该使摄像机的焦距以及基线长度增大，同时应该使被测物体尽可能的靠近立体视觉系统。另外这个精度和视差的精度有直接的关系，无论在任何情况下，要确保立体图像对之间的交迭区域足够大并且两个摄像机应该大约对齐，也就是说每个摄像机绕光轴旋转的角度不能太大。 

在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参和两个摄像机相对位置关系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。否则，将影响测量结果的精度。

双目立体视觉系统标定 

摄像机内参数的标定和单目视觉系统标定一致，双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数R和T（即两个摄像机之间的位置关系，R和T分别为旋转矩阵和平移向量）。

具体的标定过程： 

1、将标定板放置在适当的位置，使它能够在两个摄像机中均可以完全成像。通过标定确定两个摄像机的内部参数以及他们的外部参数（R1、T1与R2、T2），则R1、T1表示左摄像机与世界坐标系的相对位置，R2、T2表示右摄像机与世界坐标系的相对位置。

2、假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、x1、x2，则：

双目立体视觉的对应点匹配 

由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上，因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题。然而，对于实际的立体图像对，求解对应问题极富挑战性，可以说是双目立体视觉中最困难的一步。

为了能够增加匹配结果的准确性以及匹配算法的速度，在匹配过程中通常会加入下列几种约束： 

1、极线约束。在此约束下，匹配点已经位于两副图像中相应的极线上。  

2、唯一性约束。两副图像中的对应的匹配点应该有且仅有一个。  

3、视差连续性约束。除了遮挡区域和视差不连续区域外，视差的变化都是平滑的。

4、顺序一致性约束。位于一副图像极线上的系列点，在另一幅图像中极线上有相同的顺序。  

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~