最新综述！一文详解自动驾驶中的多模态融合感知算法

最新推荐文章于 2023-08-28 16:11:18 发布
最新推荐文章于 2023-08-28 16:11:18 发布
阅读量697 收藏 11
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247525854&idx=3&sn=93eda5428713e1381d32e64ef4b3f955&chksm=ceb84817f9cfc101d2c0afe59e7b45b0d491d642cb6ccde639f8325e9b3cdd7676cd647a441e&scene=126&sessionid=0
版权

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

多模态3D目标检测是当前3D目标检测研究热点之一，主要是指利用跨模态数据提升模型的检测精度。一般而言，多模态数据包含：图像数据、激光雷达数据、毫米波雷达数据、双目深度数据等，今天就带大家盘盘领域内的相关内容。所有内容均出自『自动驾驶之心知识星球』，欢迎加入获取更多干货！

综述

d8317f170d42b18f1ff2915119088874.png

f3e37c6a31f8632d0c2847dc86d31c41.png

数据级融合

65ed1def2d597280c9b88ee810505bdb.png

特征级融合

648e5ffa95f71d74e158ca0c9f7895a0.png

8a89188294f80af170c116a435d54034.png

目标级融合

823e47bd111c6675e194930dd3a7289e.png

不对称融合

05a121ffd6c2c50b5bf4125f5fdc0554.png

弱融合

a50d2329dd166a88ff4977cc29ff85e6.png

欢迎大家扫码加入自动驾驶之心知识星球，一起学习一起卷！

96d7b58562c257284cffeb77fcf39b90.jpeg

任何疑问欢迎联系汽车人助理，备注方向+昵称：

ceb225343992d56ceaecdfdf90c0ac98.jpeg

自动驾驶之心
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【自动驾驶】感知融合中的匹配算法
聿默的博客
04-05 693
关于感知融合匹配算法
【自动驾驶】感知融合算法总结
聿默的博客
03-28 465
关于感知融合算法，作者根据自己的所学做一个简单的总结。
自动驾驶感知——多传感器融合技术
sinat_52032317的博客
02-08 8493
自动驾驶系统由环境感知、规划、决策、控制等几个模块组成，其中环境感知需要用到诸如摄像头、毫米波雷达、激光雷达等传感设备来获取周围环境的信息。不同种的传感器有着不同的优势与缺陷，为了使感知层获得的信息更为丰富、准确，通常需要将不同的传感器进行融合。本文着重介绍多传感器融合的概念与相关知识，不具体介绍技术细节。
转载 | 自动驾驶中的9种传感器融合算法
AI 数据库me
06-15 869
在自动驾驶汽车中，传感器融合这项技术是必不可少的存在，因为它能提供更高的可靠性、冗余性以及最重要的安全性。让我们通过一个例子来更好地理解什么是传感器融合，以利用激光雷达和摄像头进行行人检测为例，如果两个传感器中的一个没有检测到行人，另一个传感器就能作为冗余来增加检测到行人的机会，如果两个传感器都检测到了行人，传感器融合技术则能使我们更准确地知道行人位置。传感器融合实际上就是是在融合传感器收集到的数据，他也可以叫做数据融合，目前一共有3大类9种方法可以构建数据融合算法。一.按抽象级别进行分类 目前最常见的融合
FusionAD：用于自动驾驶预测和规划任务的多模态融合
学习记录
08-28 2098
论文笔记：《FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving》
传感器融合与自动驾驶
吴建明wujianming_110117
06-28 799
传感器融合与自动驾驶
自动驾驶中的9种传感器融合算法
weixin_55366265的博客
11-27 801
在自动驾驶汽车中，传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性以及最终的安全性。为了更好地理解，让我们考虑一个简单的例子，如激...
万字综述｜自动驾驶多传感器融合感知
一点人工一点智能的博客
10-11 2301
多模态融合是自动驾驶系统感知的一个基本任务，最近引起了许多研究者的兴趣。然而，由于原始数据的噪声、信息的未充分利用以及多模态传感器的未对齐，实现相当好的性能并不是一件容易的事情。在本文中，我们对现有的自动驾驶多传感器融合感知方法进行了文献综述。整体上，我们对50多篇论文进行了详细的分析，其中包括使用激光雷达和相机尝试解决目标检测和语义分割任务的方法。与传统的融合模型分类方法不同，我们提出了一种创新的方法，从融合阶段的角度，用一种更合理的分类法将融合模型分为两大类、四小类。
探索自动驾驶：多传感器融合技术
allie2013的博客
10-10 585
有一天，我会放开双手，任由汽车带着我遨游山河。 有一天，我会放松身心，透过车窗去看这美丽景色。 上篇文章我们一起研究了自动驾驶涉及到的SLAM自主建图技术，相信你对自动驾驶的了解更进了一步，这次，我们继续来探索自动驾驶涉及到的另一个技术——多传感器融合技术（微缩智能车配有多种传感器，彼此融合形成智能车的稳定运行）。 多传感器数据融合技术形成于上世纪80年代，目前已成为研究的热点。它不同于一般信号处理，也不同于单个或多个传感器的监测和测量，而是对基于多个传感器测量结果基础上的更高层次的综合决策过程。
通俗理解卡尔曼滤波（无人驾驶感知融合的经典算法）
结构之法 算法之道
09-17 3万+
前言 说来惭愧，我个人也算有近10年AI教育经验，中间获得过一些名号，比如北理工校外导师，微软MVP兼CSDN技术专家，本博客也有1700多万PV了，在AI圈内还是有很高知名度的。后2015年和团队一块创业创办AI职教平台「七月在线」，至今已近7年，这6 7年我们把AI做透了，同行没做的我们做，同行没有的广度我们有，同行不到的深度我们到。 六年多来，在专注做成人AI职教的同时，面对过很多行业的刺激，但自始至终都坚持专注AI。但过程中越发深刻意识到，AI只有与行业深度结合绑...
自动驾驶决策算法论文
07-16
介绍智能驾驶决策方向的论文，主流决策算法出自该论文
文献阅读-深度学习跨模态图文检索研究综述
Ricardo_PING的Blog
10-06 4255
跨模态检索是多模态学习的重要分支，其目的在于挖掘不同模态样本之间的关系，即通过一种模态样本来检索具有近似语义的另一种模态样本。首先，聚焦于深度学习跨模态图文检索研究的最新进展，对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍，其中，基于实值表示的方法用于提升跨模态语义相关性，进而提高跨模态检索准确度，基于二进制表示学习的方法用于提升跨模态图文检索效率，减小存储空间；其次，总结了跨模态检索领域常用的公开数据集，对比了不同算法在不同数据集上的性能表现。
自动驾驶算法学习：多传感器信息融合(标定, 数据融合, 任务融合)
热门推荐
来知晓的博客
08-23 3万+
版权声明：本文为博主转载文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 ...
自动驾驶多模态传感器融合的综述
qq_29462849的博客
04-11 1143
来源丨计算机视觉深度学习和自动驾驶arXiv在2022年2月6日上传的综述论文"Multi-modal Sensor Fusion for Auto Driving Perception: A Survey"，作者来自加州洛杉矶分校、上海AI实验室（pjlab）、北京理工（BIT？）和华东师范。多模态融合是感知自动驾驶系统的一项基本任务，最近引起了许多研究人员的兴趣。然...
解析智行者自动驾驶方案（侧重传感器信息融合）
I-am-Unique
12-28 2367
“以前有你的时候可以叫天份，现在没有你了只能叫天分。”   Black Hair TRACK   因为最近再看apollo的传感器融合模块，就想到了之前看到智行者CEO张德兆的方案分享，作为清华系自动驾驶初创公司的创始人，有着和百度不一样的方案，故整理于此。   基于自动驾驶智能车控制决议计划系统开发，有4个方面的阐述： 概述； 多传感器信息融合； 决议计划...
跨模态检索综述A Survey of Full-Cycle Cross-Modal Retrieval: From a Representation Learning Perspective
zag666的博客
08-26 1448
图1.跨模态检索中的问题和挑战。
论文阅读-面向深度学习的多模态融合技术研究综述
个人学术整理
07-16 2507
面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能。多模态融合技术发展前期，以提升深度学习模型分类与回归性能为出发点，阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、解编码器三种融合架构在深度学习中的应用情况与优缺点，以及多核学习、图像模型和神经网络等具体融合方法与对齐技术，在此基础上归纳多模态融合研究的常用公开数据集，并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。
多模态技术综述
weixin_42010722的博客
03-21 2829
多模态机器学习是对计算机算法的研究，通过使用多模态数据集来学习和提高性能。多模式深度学习是一个机器学习子领域，旨在训练人工智能模型来处理和找到不同类型的数据（模式）之间的关系，通常是图像、视频、音频和文本。通过组合不同的模式，深度学习模型可以更普遍地理解其环境，因为一些线索只存在于某些模式中。想象一下情绪识别的任务。它不仅仅是看着人脸（视觉模态）。一个人的声音（音频模式）的音调和音高编码了大量关于他们情绪状态的信息，这些信息可能无法通过他们的面部表情看到，即使他们经常是同步的。
论文阅读：multimodal remote sensing survey 遥感多模态综述
qq_42740834的博客
01-13 9129
从多模态表示，对齐，融合，跨模态转换，协同学习等5个大方面来介绍在遥感领域的分类和相关工作
自动驾驶中的多模态融合感知算法
最新发布
10-09
自动驾驶中的多模态融合感知算法是指通过整合不同传感器采集到的数据，进行融合处理，从而更全面、准确地感知周围环境，并做出相应的决策。常见的传感器包括摄像头、激光雷达、毫米波雷达等。多模态融合感知算法在实际应用中能够提高自动驾驶系统的安全性和可靠性。 具体来说，多模态融合感知算法的流程包括以下步骤：首先，从不同传感器中获取原始数据；然后，对数据进行预处理和特征提取；接着，使用目标跟踪算法将同一物体在不同传感器中的数据进行关联；最后，采用融合算法整合不同传感器的信息，得到更准确、更完整的环境感知结果。 目前，多模态融合感知算法已经在自动驾驶领域得到了广泛应用。例如，Waymo公司的自动驾驶汽车采用了由激光雷达、摄像头和毫米波雷达组成的传感器套件，并使用多模态融合感知算法实现环境感知和决策。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值