原创纯研发视角看双目三维重建系统,其他地方看不到

关于双目立体视觉和三维深度提取等相关的文章网上零零碎碎比较多，很多都是摘抄的，都没有从原理上来复盘重要的底层逻辑，我搜集了些相关资料，并经过自己的推敲理解和总结，从一些原理上把这个过程的重要部分总结下，希望对大家有所帮助。

双目三维重新系统是目前市面上应用比较广泛的空间三维深度提取方法，主要分为以下几个步骤：

1. 单目标定

2. 双目标定

3. 立体矫正

4. 立体匹配(视差计算)

5.  双目测距

6. 点云显示

这篇文章我们从原理上来看实现3D测距和点云显示我们需要做哪些工作：

首先我们需要对单相机进行定标，定标的目的是获得相机的内外参数以及畸变系数，是后续深度提取精度的绝对基础。那么我们来看看具体步骤是怎样的？

1. 基础知识,坐标系转换：

                                                图 一

令：R = R1 * R2 * R3、世界坐标系为[X,Y,Z]w，相机坐标系为[X,Y,X]c

则可得：

对于相机坐标系和图像坐标系转换比较简单，就是一个焦距f的转换， 对于图像坐标系到像素坐标系转换也比较简单，就是像元和图像中点的转换，这里不多介绍，很多文章都有介绍，我们给出最终的坐标系转换公式：

                                                图 二

所以，再单目标定的时候，我们实际就是围绕求这三个角度进行。

2. 单目标定

选取12Wx9H *20mm的黑白方格定标板，如图所示：

棋盘格角点我们选择8*11

将该定标板置于双目相机前换不同角度，不同距离拍摄10~30张不等图像并保存，图像占画幅比例1/2为宜，太大或太小对标定精度都有一定的影响。

拍摄的图像会呈现扭曲，倾斜，变形等效果，不要紧，标定的目的就是要把它扭正，然后寻找这些能够把它扭正的参数的过程。

首先有个概念：

    相机不同，变动定标板位置的过程等效于是定标板不动，变动相机的位置。</