SceneCalib:自动驾驶中相机和激光雷达的自动无目标标定

作者 | 自动驾驶专栏  编辑 | 自动驾驶专栏

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【多传感器融合】技术交流群

482943c003e9cee5a16ed6e78855e4c1.png

  • 论文链接:https://arxiv.org/ftp/arxiv/papers/2304/2304.05530.pdf

45cf52a984f305af6eda6a14354b692d.jpeg

摘要

477e03df0ce78ba2c53344247a6ad6f1.png

本文介绍了SceneCalib:自动驾驶中相机和激光雷达的自动无目标标定。在很多3D感知任务中,精确的相机到激光雷达标定是传感器数据融合的基础。在本文中,我们提出了SceneCalib,它是一种在包含多个相机和激光雷达传感器的系统中同时自标定外参和内参的新方法。现有的方法通常需要专门设计的标定目标和人工操作,或者它们仅试图求解标定参数的子集。我们使用一种全自动方法解决这些问题,该方法不需要相机图像和激光雷达点云之间的明确对应关系,从而对很多室外环境具有鲁棒性。此外,整个系统通过明确的跨相机约束进行联合标定,以确保相机到相机和相机到激光雷达的外参是一致的。

21b4ff262c1793269212d994103088ec.jpeg

主要贡献

da352365b15733c12a61b1529d544fc9.png

本文的贡献总结如下:

1)本文提出了SceneCalib,其可以在多相机和单激光雷达系统中联合标定所有的外参和相机内参;

2)本文方法仅依赖于图像匹配关系,而不需要获取对应的场景点的先验知识;

3)本文提出了可靠的方法来寻找跨相机图像之间的对应关系,并且最小化图像特征之间的纯几何损失函数,其将结构估计限制在从激光雷达点云中获取的表面上。

b855f8bb340293b06941677a807225c8.jpeg

论文图片和表格

d1ece95a47138491ffb88bd9a61e8c3e.png

0413314c5641b4b36f36ceceb0d237fb.png

5e18867bd69e823d0b3030ec4528b5b3.png

858cbe3b3001e7df74ec9575880ffc41.png

e6f1eb066c8de53099181b9be185b514.png

271e506059bf5f613f5c1c6ac73f1f2b.png

b5382fdf13e2237848f9fa5f8e3be318.png

b30cc84f1343bbadbaa914777931feba.png

c3c7ee787878b4c4ddde2451ab1abbff.jpeg

总结

81dddaab7d157848834cd6b1ee7cac9f.png

本文提出了一种全自动、无目标的标定算法,用于标定自动驾驶中多个不同特性的相机和激光雷达传感器。该标定算法可以标定相机到激光雷达的外参、相机内参,并且明确约束了相机到相机的位姿变换,同时通过激光雷达提供的高质量3D信息来约束结构估计。我们已经证明,该算法完全不需要人工干预(因此具有高度可扩展性),实现了与手动标定相当的标定质量,并且对各种场景均是鲁棒的。虽然在低光照和恶劣天气条件下很难直接标定,但是未来工作的主要领域是要探索特征检测模块。通过具有在这类条件下提取更多图像特征的能力,可以潜在地显著提高算法的鲁棒性。

(一)视频课程来了!

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、多传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频,欢迎大家自取(扫码进入学习)

52365a31c6702e02a2f34fc025d70a4c.png

(扫码学习最新视频)

视频官网:www.zdjszx.com

(二)国内首个自动驾驶学习社区

近1000人的交流社区,和20+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

9f65c6559555bbc00bb41baadb5d2f4d.jpeg

(三)自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向;

c14e7f7986909fb85388741a56d3d456.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
随着自动驾驶技术的不断发展,多模态感知成为了实现自动驾驶的关键技术之一。激光雷达相机自动驾驶最常用的两种传感器,它们分别具有高精度测距和高分辨率成像的特点。如何将激光雷达相机的信息融合起来,实现更加全面、准确的环境感知,成为了研究的热点。 面向自动驾驶多模态感知的激光雷达-相机融合框架主要包括以下几个步骤: 1. 数据预处理:对激光雷达相机采集到的数据进行预处理,包括去噪、校准、配准等操作,以确保数据的准确性和一致性。 2. 特征提取:对激光雷达相机数据进行特征提取,提取出各自的特征信息。激光雷达可以提取出点云数据,相机可以提取出图像特征点、颜色等信息。 3. 特征融合:将激光雷达相机提取出的特征融合起来,形成一个多模态感知的环境模型。常用的融合方法包括点云-图像投影融合、特征点匹配融合等。 4. 目标检测与跟踪:利用融合后的环境模型,进行目标检测与跟踪。可以利用深度学习等方法进行目标检测,利用卡尔曼滤波等方法进行目标跟踪。 5. 场景分割与建图:根据融合后的环境模型,对环境进行场景分割,将场景分成不同的区域,同时进行三维建图,建立起环境模型。 6. 路径规划与控制:基于环境模型和目标检测结果,进行路径规划与控制,实现自动驾驶。 总之,面向自动驾驶多模态感知的激光雷达-相机融合框架可以有效提高自动驾驶系统的环境感知能力,为实现自动驾驶提供更加可靠、安全的技术支持。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值