超级会员免费看
本文深入探讨了大型语言模型（LLM）和多模态语言模型（MLLM）在自动驾驶领域的应用，分析了MLLMs的发展、自动驾驶的历史，以及在驾驶、运输和地图系统中的工具。研究总结了LLVM-AD研讨会，提出了未来该领域需要解决的关键问题，为研究人员提供了丰富的资源，以推动MLLMs在自动驾驶中的进步。
本文是LLM系列文章，针对《A Survey on Multimodal Large Language Models for Autonomous Driving》的翻译。
自动驾驶多模态大语言模型研究综述
摘要
随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。此外，我们总结了第一届WACV自动驾驶大型语言和视觉模型研讨会（LLVM-AD）的工作，这是第一次关于自动驾驶中LLM的研讨会。为了进一步推动这一领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要学术界和工业界共同解决的几个重要问题。论文集可以在Awesome Multimodal LLMAutonomous Driving找到。
订阅专栏 解锁全文
1171
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
