视觉传感器总结

激光雷达

与雷达工作原理类似，激光雷达通过测量激光信号的时间差和相位差来确定位置，但其最大优势在于能够利用多普勒成像技术，创建出目标清晰的3D图像。激光雷达通过发射和接收激光束，分析激光遇到目标对象后的折返时间，计算出到目标对象的相对距离，并利用此过程中收集到的目标对象表面大量密集的点的三维坐标、反射率和纹理等信息，快速得到出被测目标的三维模型以及线、面、体等各种相关数据，建立三维点云图，绘制出环境地图，以达到环境感知的目的。由于光速非常快，飞行时间可能非常短，因此要求测量设备具备非常高的精度。从效果上来讲，激光雷达维度（线束）越多，测量精度越高，安全性就越高。

优势

相比于可见光，红外线等传统被动成像技术，激光雷达技术具有如下显著特点：一方面，它颠覆传统的二维投影成像模式，可采集目标表明深度信息，得到目标相对完整的空间信息，经数据处理重构目标三维表明，获得更能反映目标几何外形的三维图形，同时还能获取目标表面反射特性，运动速度等丰富的特征信息，为目标探测、识别、跟踪等数据处理提供充分的信息支付、降低算法难度；另一方面，主动激光技术的应用，使得其具有测量分辨率高，抗干扰能力强，抗隐身能力强、穿透能力强和全天候工作的特点。

结构组成

激光雷达主要包括激光反射、扫描系统、激光接收和信息处理四大系统，这四个系统相辅相成，形成传感闭环。首先激光发射系统中激励源周期性地驱动激光器，发射激光脉冲，激光调制器通过光束控制器控制发射激光的方向和线数，最后通过发射光学系统，将激光发射旨目标物体；扫描系统负责以稳定的转速旋转起来，实现对所在平面的扫描，并产生实时的平面图信息；激光接收系统中光电探测器接受目标物体反射回来的激光，产生接收信号；信号处理系统中接收信号经过放大处理和数模转换，经由信息处理模块计算，获取目标表面形态，物理属性等特性，最终建立物体模型。

分类

激光雷达的各个环节几乎都有不同的执行方式，但从测距这一个环节来看，就存在基于时间的飞行时间法和不基于时间的相位式等方法，不同环节的组合构成了激光雷达的近二十种分类方法。

激光雷达的性能评估

在评价激光雷达的性能时，可以用到多个技术指标。线束、方向角、扫描帧频、角分辨率、测量精度、探测距离、数据率是七个常用的激光雷达性能评价指标。

3D深度传感ToF

飞行时间（ToF）相机凭借更小的外形尺寸，更宽的动态感测范围，以及在多种环境下工作的能力，称为首选的深度传感方法。虽然ToF技术已在科学和军事领域应用多年，但随着21世纪初图像传感技术的进步，才得到更加普遍的应用。

工作原理

ToF相机通过使用调制光源（例如激光或LED）主动照亮物体，并用对激光波长敏感的图像传感器捕捉反射光，以此测量出目标距离。传感器可以测量出发射出的激光信号经目标反射，回到相机的时间延迟$\delta T$。该延迟与相机到目标物体间的两倍距离成正比；因此，深度可以估算为：
$$d=\frac{c\delta T}{2}$$
其中c表示光速。ToF相机的主要工作时估算发射光信号和反射光信号之间的延迟。

测量$\delta T$方法

其中两种最为常用：连续波方法和脉冲方法

连续波方法

连续波方法采用周期调制信号进行主动发光，然后对接收到的信号进行零差解调，以测量反射光的相移。

脉冲方法

在脉冲方法中，光源发出一系列N个激光短脉冲，这些脉冲被反射回带有电子快门的传感器，该传感器能够在一系列短时间窗口中进行曝光。其中BG窗口捕获环境光，计算深度时环境光强度会被减掉。

立体视觉

要是用立体视觉进行深度测量，需要用到多个相机，彼此之间相隔一定距离。就像人眼一样，会在空间中给每个相机一个参考点，这些点相互独立，因此如果在两个相机之间能够对应还原这些点的坐标，系统就能够计算这些点的位置。确定这种对应关系需要用到高强度且复杂的算法。

优点

• 无需主动发光
• 它只需要使用两个相机来获取数据，因此价格更便宜

缺点

• 如果两个相机之间的对应点没有差别对比，则无法计算距离。对于白墙环境和环境光不足的环境，这个问题就会凸显出来。
• 距离更远时，两个相机彼此之间应该距离更远，以便对应的点位于两个相机的不同位置。对于需要测量更远距离的应用，尺寸称为明显的问题。

结构光

结构光的工作原理是将已知的参考点图投影到三维物体上，参考点图经过物体高度调制产生变形，被调制的光信息被2D相机采集捕捉，然后将调制后的光信息与投射的参考点图做对比，基于调制水平计算出深度图。

优点

• 能够在近距离内实现非常高的空间分辨率和非常高的精度

缺点

• 提取一帧信息需要多次投影，这可能会降低帧速率，导致从移动对象中提取举例信息变得非常困难。
• 对于远距离探测，光源需要远离相机镜头，因为如果光源距离镜头太近，可能导致无法识别图像变形。对于需要小尺寸外形的应用，这可能不太合适。因此，当深度测量应用的距离大于2米时，一般不使用结构光方法。
• 室外环境光也可能干扰图像调制，所以结构光更加适合在室内使用。

惯性导航系统

单目、双目、RGBD等视觉传感器可以获得非常丰富的环境信息，可以方便的用于三维重建，识别去过的地方（回环检测）等。而IMU传感器则可以获得移动机器人本身的运动信息，比如重心方向、俯仰角、偏航角等。而最近几年基于camera+IMU的VIO（视觉惯性里程计）SLAM技术方向也是研究的热点，具有代表性的如OKVIS，VI-ORB等。

简介

惯性导航系统是一种利用惯性敏感器件、基准方向及最初的位置信息来确定运载体在惯性空间中的位置、方向和速度的自主式导航系统，有时也简称为惯导。其工作环境不仅包括空中、地面，还可以在水下。
你知道自己的初始位置，知道自己的初始朝向（姿态），知道自己每一时刻如何改变了朝向，知道自己每一时刻相对朝向是怎么走的，把这些加一起不停地推，走一步推一步，在不考虑各种误差时，得出的结果就应该正好是你现在的朝向和位置。
惯性导航之所以叫惯性导航，就是因为使用的是惯性器件，也就是加速度计，陀螺仪，磁力计，气压计等
因此，惯性导航系统至少需要包括含有加速度计、陀螺仪等的惯性测量单元和用于推理的计算单元两大部分。

惯性测量单元

想象一个笛卡尔坐标系，形如下图所示，具有x轴，y轴和z轴，传感器能够测量各轴方向的线性运动，以及围绕各轴的旋转运动。这就是所有惯性测量单元的根本出发点，所有惯性导航系统都是据此而构建。

加速度计
加速度计测量加速度，利用的原理是a=F/M，测量物体的惯性力。加速度计在惯性参照系中用于测量系统的线加速度，但只能测量相对于系统运动方向的加速度。
可以通过对加速度进行解算，求得角速度，但由于精度不高，不具有很好的使用价值。但是加速度计可以辅助陀螺仪进行角度解算。
陀螺仪
陀螺仪在惯性参照系中用于测量系统的角速率。通过以惯性参考系中系统初始方位作为初始条件，对角速率进行积分，就可以时刻得到系统的当前方向。这可以想象成被蒙上眼睛的乘客坐在汽车中，感觉汽车左转，右转，上坡，下坡，仅根据这些信息他知道了汽车朝向哪里开，但不知道汽车是快，是慢或是否汽车滑向路边。

磁力计
磁力计/地磁场传感器，它有个通俗的名字：电子罗盘。当加速度传感器完全水平的时候，可以预料，重力传感器无法分辨出在水平面旋转的角度即绕Z轴的旋转无法显示出来，此时只有陀螺仪可以检测。
陀螺仪虽然动态十分快速，但由于其工作原理是积分，所以在静态会有累计误差，表现为角度会一致增加或者一直减少。于是我们会需要一个在水平位置能确认朝向的传感器，这就是如今IMU必备的第三个传感器，地磁场传感器，通过这3个传感器的相互校正，我们终于可以在大的理论上得到比较准确的姿态参数。
气压计
气压传感器用于检测大气压强的仪器，实际应用中气压传感器可做高度计。在惯导系统中有时通过增加气压计增强Z轴动态与精度。

计算单元
计算单元主要由三部分组成：姿态解算单元，积分单元和误差补偿单元

• 姿态解算单元的主要任务是负责将测量得到的惯性数据由载体自身的坐标系转换到地球坐标系。
• 加速度积分单元负责在系统所提供初始位置及速度的基础上，对运动传感器的信息进行整合计算，不断更新当前位置及速度。
• 误差补偿单元负责对积分单元的输出进行适当的修正，提高定位和姿态精度。
  
  姿态解算单元
  姿态就是指载体的俯仰/横滚、航向情况。姿态是用来描述一个刚体的固连坐标系和参考坐标系之间的角位置关系。姿态有多种数学表示方式，常见的是四元数、欧拉角、矩阵和轴角。他们各自有其自身的优点，在不同的领域使用不同的表示方式。
  姿态解算是一个非常复杂的过程，并不像我们认为的那么简单
  姿态解算，也叫作姿态分析、姿态估计、姿态融合。姿态解算是指根据IMU数据求解姿态。载体根据陀螺仪的三轴角速度对时间积分得到的俯仰/横滚、航向角，这就是快速解算。快速解算得到的姿态是存在误差的，而且误差会累加，如果再结合三轴地磁和三轴加速度数据进行校正，得到准确的姿态，就是深度解算。
  目前主要应用的有欧拉角、方向余弦、旋转矢量和四元数等算法。
  加速度积分以及位置计算
  姿态解算是惯性导航系统的第一步，加速度积分以及位置计算是第二步，且必须在第一步之后完成。
  主要分为
  1）、根据姿态解算得到的姿态矩阵，将载体坐标系下的加速度转换为地球坐标系下的三轴加速度
  2）、在给定初始位置的基础上，对1）步输出的加速度关于时间进行积分，得到速度
  3）、对速度关于时间再次积分，得到位置
  误差补偿算法
  在惯性导航系统中存在不可消除的位置积分误差和传感器误差，在导航过程中，小误差会随时间累积成大误差，其误差大体上与时间成正比，因此需要不断进行修正。现代惯性导航系统使用各种信号对其进行修正，采取控制论原理对不同信号进行权级过滤，保证惯性导航系统的精度及可靠性。
  惯性导航系统由很多部分组成，误差补偿算法是惯性导航系统中不可或缺的一部分。为了解决误差累积问题可以考虑设计滤波环节，算法的输入分别为姿态角值和位置，输出为最优估计姿态角和位置值。
  常用的滤波算法包括：卡尔曼滤波算法，UKF滤波，平方根无迹卡尔曼滤波算法等