双目结构光系统论文阅读总结

双目结构光系统总结

1.一般的立体匹配的方法是基于左右两幅图像各像素的灰度相似性进行同名点判断的，哈尔滨工业大学的赵焕谦2017年的硕士毕业论文《基于结构光和双目视觉的三维重建系统研究》中提出了一种基于灰度相似性的匹配优化算法。采用双目设计并投射格雷码编码图案，在进行左右图像立体匹配时，以像素点的格雷码进行辅助判断。

首先，读入左右相机采集的图像，对图像进行双目极线校正处理，得到行对齐的左右图像。然后对左相机上每一个采样点，读入该点的横坐标值，在右图像上寻找横坐标值相同的一行点（极线约束），对该行所有的点读取格雷码值，判断是否和采样点的格雷码值相同，如果相同则匹配成功。
以上这种方法比较简单，系统的标定不牵涉到投影仪的标定，采用双目系统标定的方法即可。一般在基于相位匹配的双目系统中，投射格雷码图案是用来确定折叠相位的展开级次进行相位展开的。
2.在阅读理解这篇文献的基础上，对合肥工业大学的肖亮2019年的硕士毕业论文《编码结构光投影双目视觉三维测量技术研究》进行理解。该论文中同样不是基于相位信息进行匹配的，但和《基于结构光和双目视觉的三维重建系统研究》相比，该论文中用到了投影仪标定，左右点云融合的方法，相对复杂了一点。
该文的整体思路是：左相机和投影仪组成一个单目结构光测量系统，右相机和投影仪也组成一个单目结构光系统。将左右两个子系统组合起来，就获得了双目结构光测量系统。两个子系统各自获得以自己系统中的相机为参考坐标系的点云坐标，最后将左点云和右点云重合起来的过程就是点云融合。

以左相机和投影仪组成的单目结构光系统求解左相机视点下的3D点云为例，在系统获得标定参数，并且完成格雷码解码获得左相机和投影仪上的对应点后，就可以运用空间三角法（三角视差法）求解出左相机视点下的被测物表面的三维坐标。同理，用同样的方式测出右相机视点下的被测物表面的三维坐标。
该系统标定的话，需要标定左相机和投影仪系统以及右相机和投影仪系统。不需要标定左相机和右相机的位置关系（最后左右点云融合用的是基于ICP改进的算法，本质上也是求解R和T）。以左相机和投影仪系统的标定方法为例，投影仪按照逆向相机处理，二者最终的位置关系标定按照双目相机标定进行。左相机的标定用张氏标定法即可，投影仪的标定，因为投影仪不能拍摄棋盘格，所以需要借助左相机找到棋盘格角点在投影仪图像坐标系下的坐标。这里的方法就是通过所投射的格雷码编码图案，对采集的结构光序列进行解码，此时左相机的每一个像素都对应着投影仪里的行和列。然后通过左相机拍摄3幅棋盘格图片并提取角点获得三幅以上的左相机下的棋盘格角点图，通过求解每一个在左相机图像中的角点估计一个到投影仪平面的局部的单应性矩阵建立左相机图像角点与投影仪图像角点的联系从而完成标定获取投影仪图像下的角点图进而对投影仪进行标定。同理，用同样的方法标定右相机和投影仪系统