120+自动驾驶综述你都知道吗？顶刊TIV：自动驾驶综述里程碑全汇总！

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

后台回复【领域综述】获取自动驾驶感知定位融合近80篇综述论文！

摘要

由于其便利性、安全性和经济效益，人们对自动驾驶（AD）和智能汽车（IVs）的兴趣正在迅速增长。尽管多项调查回顾了该领域的研究成果，但仍局限于具体任务，缺乏系统的总结和未来的研究方向。在这里本文提出了AD和IV总体技术的调查的调查（SoS），该调查回顾了历史，总结了里程碑，并提供了视角、伦理和未来的研究方向。据论文所知，本文是AD和IV中第一个具有里程碑的SoS，它与其他两项技术调查一起构成了本文的完整研究工作。我们预计这篇文章将为研究人员和初学者带来新颖而多样的见解，并成为过去和未来之间的桥梁。

介绍

自动驾驶（AD）和智能汽车（IVs）由于其一系列潜在的好处，最近引起了学术界和工业界的极大关注。AD和IVs调查在收集研究成果、概括整个技术发展和预测未来趋势方面占有重要地位。然而，绝大多数调查只关注特定任务，它们可能会对初学者的研究产生负面影响。本文工作的目的是从全局的角度系统总结AD的发展，并提出未来的研究方向。本文是“自动驾驶和智能汽车里程碑”的第一部分，这是一项调查的调查（SoS），第二部分和第三部分将很快发布。本文收集了AD和IVs调查的里程碑，并介绍了研究视角、伦理和未来方向。在另外两篇论文中，论文回顾了AD中的关键技术，包括感知、规划、控制等。我们希望我们的工作可以被视为连接过去和未来的桥梁。

自动驾驶与智能汽车发展史

1921年8月5日，第一辆自动无线电操作车辆在美国成功测试。1953年，美国无线电公司（RCA）实验室成功开发了一种由电线导航和控制的微型车辆。IVs或所谓的遥控飞行器受到技术发展的限制，只能实现单一的不稳定功能。

由于计算机技术的发展，AD的发展在20世纪80年代取得了突破。美国国防高级研究计划局（DARPA）于1983年建立了无人驾驶陆地车辆（ALV）计划，卡内基梅隆大学（CMU）、斯坦福大学和其他学术机构参与了该计划，以实现AD，这是首次集成激光雷达、计算机视觉和自动控制方法。1989年，CMU率先使用神经网络来指导IVs的控制，这一发展为智能控制技术奠定了基础。

在21世纪初，世界各地的几场比赛促进了AD的研究。从2004年开始，DARPA举办了三场比赛来评估IVs在恶劣复杂环境中的能力。斯坦福大学在2005年的比赛中获得了一等奖，他们的车辆配备了摄像头、激光雷达、雷达、全球定位系统（GPS）和英特尔CPU。2009年举办了中国首届“智能汽车未来挑战计划”，吸引了湖南大学、北京理工大学、上海交通大学、西安交通大学、清华大学、国防科技大学和帕尔玛大学等七个团体参加。

2010年代，由于神经网络和计算平台的发展，智能汽车逐渐从私人道路转向城市道路。VIsLab实施了从帕尔马到上海的IVs跨订单运输。2016年，Drive.ai被允许在加利福尼亚州测试IVs。同年，新加坡的新天地运营了多辆自动驾驶出租车。

关于AD等级，美国汽车工程师学会（SAE）将AD分为L0至L5的6个等级。到2030年，美国、欧洲和中国将有8200万台L4/L5级IVs。尽管AD技术取得了令人印象深刻的发展，但问题仍然存在。此外，IV在涉及交通事故时是否可以承担责任，在法律上仍然存在疑问。

论文结构

论文将文章分为五个部分，包括引言、综述、数据集、观点和未来以及结论。引言部分简要介绍了AD的历史和我们的贡献。在综述部分对收集到的调查论文进行了分类，并对统计结果进行了分析。我们还在数据集部分总结了AD的数据集信息。在前景和未来部分，提供了AD的研究前景、伦理和未来方向。

贡献

本文收集了122篇调查文章，分析了数据集，并提供了AD的研究难点、未来研究方向和伦理。最重要的是，AD和IVs的研究已经进入瓶颈期。我们希望这篇文章能为研究人员带来新颖多样的见解，以取得突破。

本文的主要贡献如下：

• 本文介绍了一个关于AD和IV的SoS。本文收集了里程碑调查，并将其分为几个小节；

• 本文列举了AD数据集的特征，并总结了当前AD的研究视角、伦理和未来方向；

• 论文进行了一项系统研究，试图成为AD和IV过去和未来之间的桥梁，该SoS是我们整个研究的第1部分。

概览

论文选择了122篇调查文章，表I显示了论文的类别和相应的数量。所有调查分为几个小节，包括总体[1-13]、定位[14-30]、静态物体检测[31-40]、动态物体检测[41-67]、场景理解[68-70]、跟踪[71，72]、预测[73，74]、规划[75-80]、E2E[81，82]、控制[83-89]、系统[90-93]、硬件[94-96]、软件[97]、通信[98-112]，模拟[113,114]、可解释性[115]、人机界面[116]和特殊场景[117-122]。表二列出了每个小节的一些被高度引用的调查。论文为这些文章的标题提供了类别、引用次数、发表年份和一些特殊关键词，帮助研究人员快速找到目标论文。并将收集到的全部文章绘制在一个时间线上，如图1所示。读者可以根据缩写清楚地识别每篇文章的研究领域和发表期刊，并通过序列号定位文章标题和其他信息。例如，该图中的“Ove TIV[2]”表示该文章可以在索引为2的参考文献列表中找到，它属于“整体”类别，并发表在IEEE Transaction on Intelligent Vehicle（TIV）中。

数据集

各种自动驾驶数据集的公开为该领域的进步做出了重大贡献，尤其是在感知和E2E规划任务方面。KITTI[123]在德国的城市道路上提供了多种计算机视觉任务。Cityscapes[124]、BDD100K[125]、Mapillary Vistas[126]已经发布了许多带有分割掩码的数据。A*3D[127]丰富了采集场景，如黑夜、雨雪等。

一些汽车制造商发布其车辆收集的数据集，包括H3D[128]、A2D2[129]和福特数据集[130]。有关更多详细信息，请查看表III，其中包括每个数据集的帧数、安装的传感器和覆盖任务。读者可以通过他们的任务找到相应的数据。对于E2E规划，环境对开发人员来说更为重要，Carla[131]、Vissim[132]、PerScan、AirSim[133]、Udacity、Apollo等模拟平台可以帮助研究人员进行规划和控制实验。

前景与未来

独立任务

感知：感知是自动驾驶系统的上游方面，其结果将严重影响下游任务，包括规划和运动控制。结合有限的计算资源和时间，感知模型需要准确、稳健和快速。许多团队在感知的学术研究中取得了有竞争力的成果，但研究人员仍需要继续提高他们模型的性能，直到他们能够覆盖整个场景，这是大规模生产的基本特征。论文总结了几个可能的未来研究方向如下：1）多传感器的前融合策略和通用结构；2）提升2D到3D检测，采用有效的转移结构；3）使IVs具有自动推理的能力；4）制定自监督策略，减少对海量数据的传递。5）探索协同感知，并与以下任务建立紧密联系。

规划：轨迹规划技术本身并不是IV的瓶颈。尽管如此，规划模块仍应考虑上游/下游模块的限制，以提高整个驾驶性能。以下几个方面是对一些可能的未来方向的展望：1）对不完美感知数据的安全规划；2）方案质量和速度的平衡；3）不同规划者之间切换的性能一致性；4）基于学习的规划器的可解释性增强[143]。

控制：IVs的运动控制技术取得了显著进展。然而，由于车辆复杂的纵向和横向动力学、相互耦合的性能目标以及先进通信技术的广泛应用，IV运动控制的研究仍有许多重要的未解决问题需要探索和认识。以下是对其可能发展方向的初步展望：1）在随机不确定性和延迟条件下IV纵向和横向运动的协调控制方法；2）用于IV运动控制的多性能目标全局优化技术；3）车联网环境下IV协同控制的理论与方法；4）控制系统的容错方法；5）控制系统在实际交通环境中的盗版应用。

测试：在大规模生产IVs之前，测试是一个至关重要的过程。测试车辆需要在测试区域或私人道路上完成一系列困难重重的驾驶任务。该过程的目的是找出IVs的剩余问题，为修改程序提供最后机会，并降低公共道路上IVs的事故率。对于未来IVs测试的研究，研究人员可以：1）引入一种新的理性思维评估标准；2）制定虚拟仿真测试的评估标准；3）试图缩小真实测试场景和虚拟测试场景之间的差距[144145]。

人类行为：商用乘用车自主性的提高不会减少人类行为和人为因素问题的必要性，但可能会增加这些问题的复杂性。对于IVs来说，确保安全、舒适和愉快的旅程的责任是极其繁重的。IVs人机界面系统的未来工作应进一步关注相互理解和互信机制的发展，确保与车载和周围用户的通信透明度和效率。应强调个性化和以人为本的设计方法，以确保IVs也能够理解用户特征和个性，从而更有效地与人类互动。同时，还应仔细考虑安全、隐私和道德问题[146-151]。

自动驾驶伦理

规范伦理：规范伦理问题围绕着道德困境展开，IVs必须在各种选择之间做出选择，这将不可避免地导致人类生命的牺牲[152-154]。Bonnefon等人[152]给出了一个调整IV电车问题的例子，他设计了几个精致的事故场景，其中IV必须在惊吓行人或乘客之间做出决定，并调查了美国参与者的选择。调查结果表明，大多数参与者希望其他人购买IVs，优先考虑在事故中挽救大多数生命。调查机制被扩展并发展为一个被称为“道德机器实验”的在线实验平台[153]，以从全球角度探索IVs面临的道德困境。这些数据有助于确定三种强烈的偏好：对拯救人类生命的偏好、对拯救更多生命的偏好和对拯救年轻生命的偏好。

在另一项研究中，Morita和Managi[154]调查了日本社会困境的存在，发现结果与美国的结果大致相似[153]。特别值得注意的是，美国的参与者在与家人一起旅行时普遍更倾向于使用自我保护IVs，而不是独自骑行，而日本的参与者则没有表现出这种倾向。作者认为，这种差异是由于两国之间的文化差异造成的。虽然在IV道德决策的背景下提到巨魔问题的讨论是全面而丰富的，但一些研究人员表示担心IV的道德困境被过度强调。Cunneen等人[155]认为，从手推车问题等困境的角度来界定IVs的伦理影响是误导性的，而更现实的伦理框架应该关注当前和不久的将来的技术，包括HMI、机器感知和数据隐私等。Lundgren[156]也持这种态度，世卫组织还对扩大对IVs电车问题的讨论的方法提出了质疑。

环境与公共卫生伦理：人们已经达成共识，即IVs的引入将引发与环境和公共卫生伦理相关的问题。IVs可以通过优化单个车辆的能源效率和排放，减少碰撞造成的交通拥堵等方式，对环境有益[157]。同时，静脉注射可能对环境造成危害[158-161]。IVs的便利性和可访问性可以释放那些有不必要旅行需求的人的额外旅行需求[158]，而旅行需求的增加反过来又会增加车辆行驶里程（VMT）[159]，并导致更高水平的噪音和电磁场（EMF），这两者都会对健康产生不利影响[160]。

商业道德：IVs提出的另两个激烈争论的话题是责任和隐私，这两个话题都主要针对IV行业，因此属于商业道德的主题。与大多数传统的车辆事故不同，与IV相关的事故可能会在IV技术的行业利益相关者之间的责任分配方面引发有争议的法律问题[162]。更糟糕的是，由于基于机器学习的算法固有的不可预测性，这些利益相关者甚至可能无法预测IV的行为[163]。与此同时，随着静脉注射行业的繁荣，可能会出现严重的隐私风险——行业利益相关者访问静脉注射用户的个人信息将变得越来越简单[162163]。

未来方向

人机混合智能：人类和人工智能之间的关系不是独立的。相反，两者是共存的，并且是相辅相成的。人类智能是机器智能的导师，机器智能会从人类行为中学习解决问题的策略，从而提高智能系统的可靠性[164, 165]。

在2018年的美国人工智能协会（AAAI）会议上，会议主席发表了题为“人类感知人工智能系统的挑战”的演讲，指出了我们在人工智能系统发展中面临的挑战。该演示文稿表明，人工智能的目的是增加人类的劳动，因此为了与人工智能系统合作，有必要在人类意识的情况下设计它们，并建立循环中的人类（HITL）模型。AD是典型的人工智能系统之一，它需要将人工智能算法与人类参与相结合，HITL方法将增强IVs处理复杂困难的能力。

自动驾驶中的并行智能：人类驾驶员大多能够检测周围环境中的重要信息，从而做出合理的决策。然而，这种类型的能力依赖于大量的知识。基于并行智能的并行仿真平台可以通过虚拟场景中的数据增强，极大地丰富感知数据。它创造了丰富的角落案例和多样化的天气条件，以增强虚拟场景中的检测和规划能力[166–171]。此外，通过虚拟场景和现实场景之间的相关性指导，可以将在虚拟环境中训练的模型部署到真实的IVs中，以提高模型在城市道路上的能力。

从场景工程到场景智能：如今，场景数据集以不同的格式和标准存储信息，并且没有有效的索引。因此，这些数据集注释稀少，难以重用。场景智能的目的是统一描述方法和规则[172-174]。通过场景智能，IVs将能够适应各种路况和驾驶环境，提高智能水平，这是未来实现L5 AD水平的关键技术之一。

结论

鉴于大量调查缺乏系统总结和宏观视角，论文对AD和IV进行了全面总结。这篇文章是我们工作的第一部分。在本文中，我们回顾了AD的发展，并介绍了一个关于AD和IV里程碑研究的SoS。我们收集了122项综述，按研究领域分为18类，并对其进行了分析。对AD数据集进行汇总，以帮助研究人员尽快选择合适的数据。此外，我们还指出了AD的研究视角、伦理学和一些未来方向。该SoS提供了AD中各种主题的横向和纵向研究。

参考

[1] Milestones in Autonomous Driving and Intelligent Vehicles: Survey of Surveys

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称