多传感器同步理论

《多传感器同步理论》课堂问题汇总与答疑_20210703

1. 多个传感器标定是两两标定 还是联合标定呢?

回答：多个传感器之间标定包含两两之间的情况，传感器间的标定就可以成为联合标定。多数情况下车上应该选定一个主传感器，其他传感器与主传感器建立标定联系，然后主传感器与车体建立联系。

2. 激光雷达与相机融合 由于运动的因素 特别是在旋转的时候 时间差一点就会造成融合很大的误差 比如说对于交通锥这种小目标 两种数据融合会可能产生半个身位甚至一个身位的误差 这种情况怎么处理呢？

回答：正是这种原因，所以激光雷达使用中需要做运动补偿去除运动畸变带来的影响，（相机成像其实也有运动拖影现象，实际使用中根据情况看是否影响可以决定是否需要处理）。那实际使用中，激光雷达和相机如果做结果级融合或者数据级融合，需要你说的这种情况。一般这种情况下还需要考虑激光雷达开始扫描的角度，到合适的角度再触发相机拍照。
另外，在激光雷达与相机融合时，会考虑运动目标带来的影响，可以考虑依赖速度信息区分静止障碍物和运动障碍物，在两个传感器匹配后，再进行运动障碍物的恢复。当然在实际应用中，还可能会根据场景选择不同的融合策略。如转弯时，可以选择相机为主的融合策略。

3. 不在时间戳的数据都会扔掉吗？还是会存起来另有用处？

回答：通常情况下不会立马扔掉，代码中会有缓存队列，除非缓存满了会删掉历史数据。

4. 如果没有ADU或者Trigger box等可以直接接入PPS信号的设备，能否将LiDAR设为PTP的master？

回答：一般以gps时间为master，如果连gps都没有的话，那就选择NTP呗。一般激光雷达是被授时的。

5. 课上讲空间同步那里时需要哪些基础知识？

回答：外积，内积，旋转矩阵性质，欧式变换，欧拉角，四元数，2D-3D，3D-3D，PnP 等等

6. Odom是轮式里程计吗

回答: Odom准确的说是里程计，轮式里程计是wheel odom，其实里程计包含的范围更广。里程计包含两个重要的量，即位姿（位置转角）以及速度（前进速度和转向速度）。在车上，可以特指轮式里程计。

7. 运动补偿的意义是什么？

回答：以机械式激光雷达为例，假设目标不动，激光雷达运动扫描，不过由于激光雷达帧率10帧，间隔100ms一帧，速度慢倒还好，但如果是快速运动的话，目标在某一帧点云中出来的效果可能就不是真实的目标轮廓了。但实际中，目标往往也是运动的，所以自运动，目标运动都得作补偿。

8. 比较关心imu怎么去除没用信息的，在里程计融合那部分。线加速度精度差，所以最终怎么用的imu

回答：imu无用信息指的是噪声吗？如果是的话，可以通过采样值计算其Allen方差求解出来。当然去噪的方法有挺多或者说对imu噪声建模的方法有挺多种。
线加速度精度差，一般IMU参数关注这个线加速度对角速度的影响，所以也可以归结为线加速度的噪声影响。

9. 不同radar的采样频率不同，说明雷达性能有差别吗？如13Hz和15Hz

回答：对于毫米波雷达，采样频率其实和采样点、频率分辨率有关系。当频率分辨率一定时（采样频率分辨率一般和毫米波雷达处理时间等价），采样频率越大，采样点就越多。
另外，雷达性能一般和采样频率分辨率有关，和采样点以及采样频率没啥太多关系。

10. 自动驾驶为何用rolling starter camera? ，优势在哪里？

回答：主要是便宜。从硬件上来讲，rolling shutter是采用cmos，而global shutter采用的ccd，如下图。从电信号转换为数字信号时，CCD是串行的，而CMOS是并行的（适合集成电路）这就会使得cmos的速度更快，且噪声小。
从软件上讲，目前图像算法可以将cmos的一些缺点（如果冻现象）消除掉，所以rolling shutter使用更广。但如果ccd生产工艺和生产成本降低下来，个人感觉global shutter的相机会应用更广。

11. 就是具体相机时间戳怎么打，雷达时间戳怎么打？