2020-10-12

3D视觉

1.3D视觉的技术路线
3D视觉处于成长阶段，嵌入式视觉和深度学习还处于创建阶段。3D视觉主要应用于三维度量、缺陷和完整性检测、机器人应用中。目前获取3D信息的主要方法有：

1. TOF（飞行时间）法
   飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。
   TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。
   脉冲调制：脉冲调制方案的原理比较简单，它直接根据脉冲发射和接收的时间差来测算距离。
   连续波调制：实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比，因此可以利用相位偏移来测量距离。
   TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。

2）双目/多目视觉法
双目立体视觉。双目视觉系统由两个摄像机组成，利用三角测量原理获得场景的深度信息，并且可以重建周围景物的三维形状和位置，类似人眼的体视功能，原理简单。
双目视觉系统需要精确地知道两个摄像机之间的空间位置关系，而且场景环境的3D信息需要两个摄像机从不同角度，同时拍摄同一场景的两幅图像，并进行复杂的匹配，才能准确得到立体视觉系统能够比较准确地恢复视觉场景的三维信息，在移动机器人定位导航、避障和地图构建等方面得到了广泛的应用用。然而，立体视觉系统的难点是对应点匹配的问题，该问题在很大程度上制约着立体视觉在机器人领域的应用前景。
多目视觉系统。多目视觉系统采用三个或三个以上摄像机，三目视觉系统居多，主要用来解决又目立体视觉系统中匹配多义性的问题，提高匹配精度。多目视觉系统最早由莫拉维克研究，他为"Stanford Cart"研制的视觉导航系统采用单个摄像机的滑动立体视觉来实现，雅西达提出了三目立体视觉系统解决对应点匹配的问题，真正突破了《目立体视觉系统的局限，并指出以边界点作为匹配特征的三目视觉系统中。
其三元的配的准确率比较高，艾雅湜提出了用多边形近似宕的边界点段作为特征的三目匹配算法，并用到移动机器人中，取得了较好的效果，三目视觉系统的优点是充分利用了第三个摄像机的信息，减少了错误匹配，解决了双目视觉系统匹配的多义性，提高了定位精度，但三目视觉系统要合理安置三个摄像机的相对位置，其结构配置比双目视觉系统更烦琐，而且匹配算法更复杂需要 消耗更多的时间，实时性更差

3）激光结构光法
双目立体视觉的深度相机对环境光照强度比较敏感，且比较依赖图像本身的特征，因此在光照不足、缺乏纹理等情况下很难提取到有效鲁棒的特征，从而导致匹配误差增大甚至匹配失败。
而基于结构光法的深度相机就是为了解决上述双目匹配算法的复杂度和鲁棒性问题而提出的，其他处理步骤和双目立体视觉类似，本文不再赘述。结构光法不依赖于物体本身的颜色和纹理，采用了主动投影已知图案的方法来实现快速鲁棒的匹配特征点，能够达到较高的精度，也大大扩展了适用范围。
4）面编码光法
与结构光类似的主动视觉方法，以电子扫描代替机器扫描，提高效率
编码方式包括：空间编码、时间编码、彩色编码
5）光谱共焦法
利用波长信息测量距离的。由光源射出一束宽光谱的复色光（呈白色），通过色散镜头发生光谱色散，形成不同波长的单色光。每一个波长的焦点都对应一个距离值。测量光射到物体表面被反射回来，只有满足共焦条件的单色光，可以通过小孔被光谱仪感测到。通过计算被感测到的焦点的波长，换算获得距离值。

各方法特性比较如下：

2.3D视觉方案选型标准
3D视觉方案选型标准如下：
1）成本；
2）工作距离和景深；
3）XY方向分辨率；
4）Z方向量程和精度；
5）采集条件和处理时间；
6）被测物体表面特性；
7）遮挡及复杂形体适应性。

对于遮挡及复杂形体适应性，增加相机和结构光可减少单侧遮挡盲区，多角度多方位测量可在工程上有效减少遮挡盲区，同时会引入3D数据拼合问题。

3.3D视觉数据后处理主要方法
3D视觉数据后处理主要方法如下：
1） 显示
a)3D显示：伪彩色显示、视角比例局部；
b)3D GUI
2） 3D数据预处理
a) 3D数据滤波：野点剔除、轮廓线锯齿平滑、面型波纹滤除
b)孔洞填充
c)3D数据拼合
3）3D数据测量
a)3D数据选取
b)拟合：平面拟合、轮廓拟合
c)测量工具
i)距离、直径、体积等基础几何量
ii)断差、深度、浮高
iii)特征计算
4）3D数据分析
a)3D定位
b)3D缺陷检测
c)CAD比对检测：CAD设计文件解码、点云比对