文章目录
-
-
- 《多传感器同步理论》课堂问题汇总与答疑_20210703
-
- 1. 多个传感器标定是两两标定 还是联合标定呢?
- 2. 激光雷达与相机融合 由于运动的因素 特别是在旋转的时候 时间差一点就会造成融合很大的误差 比如说对于交通锥这种小目标 两种数据融合会可能产生半个身位甚至一个身位的误差 这种情况怎么处理呢?
- 3. 不在时间戳的数据都会扔掉吗?还是会存起来另有用处?
- 4. 如果没有ADU或者Trigger box等可以直接接入PPS信号的设备,能否将LiDAR设为PTP的master?
- 5. 课上讲空间同步那里时需要哪些基础知识?
- 6. Odom是轮式里程计吗
- 7. 运动补偿的意义是什么?
- 8. 比较关心imu怎么去除没用信息的,在里程计融合那部分。线加速度精度差,所以最终怎么用的imu
- 9. 不同radar的采样频率不同,说明雷达性能有差别吗?如13Hz和15Hz
- 10. 自动驾驶为何用rolling starter camera? ,优势在哪里?
- 11. 就是具体相机时间戳怎么打,雷达时间戳怎么打?
- 12. 在实际应用中,ms级别的时间同步精度是否够用?在哪些情况下需要更高的时间同步精度?
- 13. 课上提到的把远距相机的roi区域重采样到短距或中距相机下再进行融合是什么意思?为什么不可以直接投影过去?对于重采样的话一般的做法是什么?
- 14. 车辆静止时,激光雷达间空间同步标定之后,在车辆运动时,激光雷达的姿态发生变化。这种情况怎么解决?
- 15. 想知道PPS信号是通过什么方式进行倍频转换为多路的20HZ信号输出
- 16. PPS信号触发相机曝光之后,GPRMC的时间如何把时间戳打到相机图像帧上
- 17. 看示意图中Trigger box输出的脉冲只给到多个相机,并没有看到将触发信号给到激光雷达,所以在完成相机的时间与GPS时间同步后,激光雷达的时间如何与GPS时间同步?
- 18. 看图5的“车端时间硬同步示意图”激光雷达和相机的时间同步是需要将GPS+PPS和PTP的方式结合才能完成同步吗?
- 19. 假设雷达是10HZ相机是20HZ,如果同一时刻触发数据采集,但是相机的第一帧丢帧了,所以在雷达的第一帧中找不到相机对应的帧,面对相机丢帧的情况如何处理?
- 20. 使用GPS+PPS方式同步在GPS信号弱的地方应该会导致不能同步,这种情况如何处理?
- 21. 如图车端时间硬同步示意图中各种传感器的数据在采集给到算法处理前有做缓存吗?如果缓存应该会存在延时?
- 22. 相机+毫米波雷达融合匹配策略?
- 29. 雷达感知结果输出给到融合,融合需要做相应的哪些预处理?
- 30. 车端激光雷达如何与GPS作时间同步?
- 31. 问下视频中PPT中第18页,两幅图像关于绿色点云和粉色点云存在差异是想说明啥?
- 32. 到多相机标定中, 可以固定住平移只求旋转. 您有这方面的详细资料吗, 或者代码。
- 33.imu和lidar融合,能不能用lidar测角度,通过imu调整姿态
- 34. 多激光雷达怎么标定的,那块刚好没听,主激光雷达坐标系与车体坐标系怎么建立关系,通过测量目标物相对于车后轴中心的位姿以及在激光雷达中的位姿,进行坐标转换?
- 35. 传感器的时间戳是怎么得到的?
- 36. 目前车载相机大部分只支持基于pps的外部触发同步机制,而激光雷达一般用的是ieee 1588(ptp)的时间同步机制
- 37. 大陆的430自带SDA(自标定),利用路沿点标定
- 38.1、传感器标定过程,有没有行业标准?是什么? 2、传感器之间标定要达到哪些量化的结果? 3、传感器标定是人工写规则么? 4、深度学习与传感器标定有什么关系?
- 39.请问,把激光感知结果投影到图像,有什么好方法吗?感觉这个和多传感器标定有关系
- 40. 两个不同的camera,应该会有部分畸变和视差,这个在匹配的时候如何消除的呢?还是不消除?标定好以后长焦和短焦,对于图片的比例缩放是如何确定的?如何刚好达到图中所示的匹配呢
- 41.激光雷达用传统方法做目标识别有哪些
- 42. 激光跟imu或者组合惯导之间的外参标定距离值不是很准,有没有什么好的方法呢?
- 43. 请问在线标定有没有什么方法或者资料推荐的?
- 10.相机与Lidar同步实战
-
《多传感器同步理论》课堂问题汇总与答疑_20210703
1. 多个传感器标定是两两标定 还是联合标定呢?
回答:多个传感器之间标定包含两两之间的情况,传感器间的标定就可以成为联合标定。多数情况下车上应该选定一个主传感器,其他传感器与主传感器建立标定联系,然后主传感器与车体建立联系。
2. 激光雷达与相机融合 由于运动的因素 特别是在旋转的时候 时间差一点就会造成融合很大的误差 比如说对于交通锥这种小目标 两种数据融合会可能产生半个身位甚至一个身位的误差 这种情况怎么处理呢?
回答:正是这种原因,所以激光雷达使用中需要做运动补偿去除运动畸变带来的影响,(相机成像其实也有运动拖影现象,实际使用中根据情况看是否影响可以决定是否需要处理)。那实际使用中,激光雷达和相机如果做结果级融合或者数据级融合,需要你说的这种情况。一般这种情况下还需要考虑激光雷达开始扫描的角度,到合适的角度再触发相机拍照。
另外,在激光雷达与相机融合时,会考虑运动目标带来的影响,可以考虑依赖速度信息区分静止障碍物和运动障碍物,在两个传感器匹配后,再进行运动障碍物的恢复。当然在实际应用中,还可能会根据场景选择不同的融合策略。如转弯时,可以选择相机为主的融合策略。
3. 不在时间戳的数据都会扔掉吗?还是会存起来另有用处?
回答:通常情况下不会立马扔掉,代码中会有缓存队列,除非缓存满了会删掉历史数据。
4. 如果没有ADU或者Trigger box等可以直接接入PPS信号的设备,能否将LiDAR设为PTP的master?
回答:一般以gps时间为master,如果连gps都没有的话,那就选择NTP呗。一般激光雷达是被授时的。
5. 课上讲空间同步那里时需要哪些基础知识?
回答:外积,内积,旋转矩阵性质,欧式变换,欧拉角,四元数,2D-3D,3D-3D,PnP 等等
6. Odom是轮式里程计吗
回答: Odom准确的说是里程计,轮式里程计是wheel odom,其实里程计包含的范围更广。里程计包含两个重要的量,即位姿(位置转角)以及速度(前进速度和转向速度)。在车上,可以特指轮式里程计。
7. 运动补偿的意义是什么?
回答:以机械式激光雷达为例,假设目标不动,激光雷达运动扫描,不过由于激光雷达帧率10帧,间隔100ms一帧,速度慢倒还好,但如果是快速运动的话,目标在某一帧点云中出来的效果可能就不是真实的目标轮廓了。但实际中,目标往往也是运动的,所以自运动,目标运动都得作补偿。
8. 比较关心imu怎么去除没用信息的,在里程计融合那部分。线加速度精度差,所以最终怎么用的imu
回答:imu无用信息指的是噪声吗?如果是的话,可以通过采样值计算其Allen方差求解出来。当然去噪的方法有挺多或者说对imu噪声建模的方法有挺多种。
线加速度精度差,一般IMU参数关注这个线加速度对角速度的影响,所以也可以归结为线加速度的噪声影响。
9. 不同radar的采样频率不同,说明雷达性能有差别吗?如13Hz和15Hz
回答:对于毫米波雷达,采样频率其实和采样点、频率分辨率有关系。当频率分辨率一定时(采样频率分辨率一般和毫米波雷达处理时间等价),采样频率越大,采样点就越多。
另外,雷达性能一般和采样频率分辨率有关,和采样点以及采样频率没啥太多关系。
10. 自动驾驶为何用rolling starter camera? ,优势在哪里?
回答:主要是便宜。从硬件上来讲,rolling shutter是采用cmos,而global shutter采用的ccd,如下图。从电信号转换为数字信号时,CCD是串行的,而CMOS是并行的(适合集成电路)这就会使得cmos的速度更快,且噪声小。
从软件上讲,目前图像算法可以将cmos的一些缺点(如果冻现象)消除掉,所以rolling shutter使用更广。但如果ccd生产工艺和生产成本降低下来,个人感觉global shutter的相机会应用更广。