关于IMU、激光雷达、Kinect的融合构想

2021.02.11：

今天是大年三十，最近发现隔几天就会有人收藏这篇文章（QQ邮箱会提醒），为了避免误导，特地在此进行如下说明。

本篇博客为博主研一时刚接触相关方向时的思路，许多地方想的比较简单，首先看到这篇文章的各位，应该知道相机和IMU是能进行融合的（毕竟有那么多的论文对吧），但大多数的融合是基于相机和IMU是在同一块板子上做的，这是什么意思呢，比如说小觅相机这种（可以淘宝上搜一下，性能怎么样先不管，看看是什么样子），就是他的相机和IMU是在一块电路板上的，这里就实现了硬件相连，在此基础上才能实现相机和IMU的标定（就是什么相机多长时间曝光一次，IMU的频率怎么和他对齐之类的），没有硬件相连的话，好像对齐标定之类的很麻烦（我研一的时候觉得无硬件同步就无法对齐，后来没做这个方向，但偶尔看论文又觉得能）。所以想我这种一个Kinect一个MTI这种的，我也不知道怎么能融合，当时搜到某985大学一篇论文是相关方向，但是最关键的部分一笔带过，后来放弃了此方向。因此大家需要考虑一下这个问题。

激光雷达和IMU的融合看论文确实有做的，但比较少，不知道他们怎么实现的。

相机和激光雷达的融合我师姐做过，应该是可以的（型号为Kinect v1 与Hokuyo 04-lx），因为我不是这个方向，故实现方式不详。

在这里说一下这个MTI，他的那个GPS，首先得在室外才能接收到信号，或者你把他的天线从窗户那里伸出去才行，而且我们当时实验的时候发现他的GPS也不太准。。对此问题咨询了MTI的工程师，回复说在室外空旷环境下以1m/s的速度移动才会准，测试了下确实是这样。所以有些同学想把这种东西装在某一款移动机器人上，就得考虑一下你的移动小车能不能移动这么快，不然这个GPS是没啥用的。

就想到这么多，由于后期换了方向，可能很多东西只是我个人的理解，不一定正确，仅供参考。

-------------------------------------------------以下是原文------------------------------------------------------------------

1. Kinect有三个镜头，中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位。

下图给出了Kinect的整体结构。Kinect一共有3个摄像头，中间一个是RGB摄像头，用来获取640×480的彩色图像，每秒钟最多获取30帧图像；两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测玩家的相对位置。Kinect的两侧是一组四元麦克风阵列，用于声源定位和语音识别；下方还有一个带内置马达的底座，可以调整俯仰角。

深度检测是Kinect的核心技术，开发者可以通过Kinect获取到用户的深度信息，判断用户的位置。Kinect v1的深度检测用的是Light Coding的方式:红外投影机投射红外光谱，照射到粗糙物体或者毛玻璃后，光谱发生扭曲，形成散斑。因为散斑具有高度随机性，所以空间中每一个散斑的图案都不相同。在空间中打上这样的结构光，整个空间即被标记，当物体放在这个空间中时，红外摄像机接收到反馈信息，就可根据物体上散斑图案判断物体位置，形成深度图像。Kinect v2的深度检测用的是Time Of Light的方式：通过红外摄像头投射红外线形成反射光，根据光线飞行时间判断物体位置，形成深度图像。

总结：其实也可以当单目相机用，只接受topic：image_raw就可以了。

------------------------------10月8日补充-------------------------------------------------------------

这里谈到了是否能把Kinect当单目相机用，原因是实验室的设备上没有单目相机，而我想做的是把GPS、INS、相机、激光雷达中的一部分融合（没说全融合），首先买的下面的MTI-710既然带了GPS，就想用用他不然白买了，这样在室内GPS就不好用了，就只能去室外，室外的话，Kinect又不好用了是吧，因为它对光敏感；所以就想把它当单目用（虽然有点浪费，起码还能用），这样就是做的最多的单目+IMU了。然后又想，我们有激光雷达啊能不能用一下，最近思考了下，觉得不太容易，因为GPS的失效位置就是室内和多遮盖地区，要让GPS能用，就得去室外空旷环境（比如操场），但一空旷，激光雷达的数据就不一定能传回来啊，太远了什么都有检测不到是吧。。。愁人。。。

2.

论文中使用的是 ZED 和 MTI-G-710 硬件设备。

使用 HUAWEI Honor V9 手机采集 GPS 信号，得到原始观测值，采样频率是 1Hz，使用最小二乘求解载体位置。

3.数据采集系统由陆地车辆、速度里程计、角度编码器、2D 激光扫描仪和 GPS 接收机组成。速度里程计和角度编码器分别用于输出车辆行驶速度和测量车辆舵向角，两者构成车辆 2D 航位推算系统，测量精度分别约为 0． 3m/s 和 3°，输出频率为 40Hz。SLAM 系统以激光扫描仪为观测敏感器，以树干为环境特 征点，通 过在 水平 方 向180°视角扫面，返回特征点相对车辆距离与视线角，测量精度分别为 1m/s 和 1． 5°，输出频率为5Hz。GPS 输出位置信息精度为 3m，频率 1Hz。SLAM 问题求解中采用分支界限联合兼容数据关联方法与压缩卡尔曼滤波方法。

这是篇小论文，没有太多介绍。

4.几个还没看的github，感觉有点相关：

https://github.com/GSORF/Visual-GPS-SLAM

https://github.com/wuzhengy/gpsCalibration

有用的博客：

https://blog.csdn.net/qq_18661939/article/details/53574981

5.关于IMU

MTi-G-710位置姿态传感器是Xsens公司MTi-100系列产品中一款基于卫星导航与惯性导航相结合的导航与稳定控制应用的解决方案。是具有一体式结构的传感器系统，可输出高频率的位置和姿态数据，且系统无法获得磁场时可实现出色的航向跟踪，并且输出数据可配置，能够与第三方设备同步 。该产品有如下特点：

完整的传感器融合算法

• 针对长期的瞬态加速度的补偿

• 可以应对GNSS的中断

• 不以磁性航向做参考

• 针对振动条件下的性能进行调整

• 适用于各种应用的可选滤波器配置

易于软件集成

• 广泛的可配置输出格式，都在MTi-G-710上计算所得

• 具有直观图形用户界面的MT软件套件

• 针对所有操作系统的完整软件开发包

• 支持机器人操作系统（ROS）

• XSENS XBus协议或ASCII（NMEA）

• 可访问Xsens的知识库和社区论坛BASE

一流硬件设计

• 最高质量的工业级部件

• 抗振的陀螺仪和加速度计

• 内置多种GNSS接收器(GPS, GLONASS, BeiDou,

Galileo) 及气压计

• 广泛的（时间）同步选项

性能亮点

• 无需磁场条件下的真北输出

• IP67封装版或OEM版本

• 多种接口可选并具备机载USB接口

• 所有XSENS产品都是完全可互换的

• 经济高效的系统集成解决方案

• 输出位置，速度和姿态信息

三维姿态测量系统MTi-100

MTi-100系列包括MTi-100,MTi-200,MTi-300,MTi-700四个型号。

710-GNSS/INS(带GPS)价格16000 300-AHRS(不带GPS)价格12000

MTi-G-710 GPS/INS是一款GPS辅助，IMU增强型GPS/INS。产品提供高质量定向和定位，属于高性能MTi 100系列。内部处理器功耗低。输出的航向角没有漂移，同时提供经过较核的三维加速度，角速度以及磁场强度。对于照相机，机器人，车辆等其他系列设备的稳定和控制，MTi 是一款性能非常优秀的测量产品。