hzlalb的博客

这些曲线显示了不同模型在训练过程中的表现，包括基线DDQN、带有引导训练的DDQN（G-DDQN）、带有引导训练和状态表示网络的DDQN（GR-DDQN）、带有引导训练、状态表示网络和安全规则的DDQN（GRS-DDQN），以及带有引导训练、状态表示网络、安全规则和对决网络架构的DDQN（GRSD-DDQN）。这个框架说明了如何将自动驾驶车辆的自我状态和周围车辆的状态合并，通过卷积神经网络（CNN）进行编码，然后将编码的信息与自动驾驶车辆的状态合并，形成新的输入状态向量，输入到策略网络中。

然而，RL在训练过程中需要与环境进行大量的交互，这带来了很高的风险，尤其是在安全性至关重要的自动驾驶领域。此外，现有的安全RL方法虽然通过引入预期安全违规成本作为训练目标来提高安全性，但在训练过程中达到不安全状态的概率仍然很高，且难以在成本和回报之间取得平衡。本文提出的基于长期和短期约束的安全强化学习方法为自动驾驶领域提供了一种新的训练方法，通过在模拟器上的实验验证了其有效性。这种方法在提高自动驾驶训练过程的安全性和算法性能方面显示出了显著的优势，为未来的研究和实际应用提供了新的方向。

如图1所示，我们定义了可靠的状态空间 SfSf​ 和不可行的状态空间 SinfSinf​。在自动驾驶中，车辆的状态轨迹需要被限制在可靠的状态空间内，以确保安全。短实体线和长虚线分别表示车辆的短期和长期轨迹，蓝点代表这些轨迹中的状态。解释：该图展示了如何通过区分可行和不可行状态空间来定义长期和短期约束，以确保自动驾驶车辆在训练过程中的安全性。

端到端学习框架能够模拟人类驾驶技能，并在游戏环境中控制车辆。尽管由于硬件限制导致模型推理速度受限，但研究结果仍然令人满意。未来的工作将集中在量化模型性能，并探索不同的用户和场景。本节介绍了如何利用现有的游戏化解决方案，例如《侠盗猎车手V》(GTA V)，在典型的高速公路驾驶地图场景下，通过端到端学习的方法来学习人类驾驶技能。

本研究旨在开发一种基于游戏的端到端学习和测试框架，用于学习人类在高速公路上的驾驶技能，以提高自动驾驶汽车的性能。：利用流行的视频游戏《侠盗猎车手V》（GTA V）作为模拟环境，收集真实感强的驾驶数据，这在自动驾驶研究中是一种新颖的方法。：通过使用预训练的VGG-19模型，并采用转移学习策略，研究减少了训练时间和资源消耗，同时提高了模型的学习效率。：研究中使用了虚拟控制器技术，将神经网络的预测输出转化为游戏内车辆的控制信号，实现了数据到控制的直接映射。一、🤔研究的创新点具体体现在哪些方面？

问题背景：论文讨论了基于视觉的端到端自动驾驶模型，这些模型通过模仿学习进行训练，但通常需要大量数据，并且缺乏直观的激活图来展示模型的内部工作机制。研究目标：提出了一种方法，通过在训练过程中添加损失项来引导模型的注意力，以提高驾驶质量和获得更易于理解的激活图。方法介绍：介绍了一种注意力引导学习方法，该方法在训练时仅应用于CIL++模型，不需要修改模型架构，也不需要在测试时提供显著性图。实验设置：使用CARLA模拟器和不同的数据集（14小时和55小时）来评估所提方法的有效性。实验结果。

通过共享底层特征提取网络，模型可以更有效地学习到对所有任务都有用的通用特征，同时通过特定于任务的网络层来处理每个任务的独特需求。这通常意味着网络中有一部分是共享的，用于提取对所有任务都有用的特征，而网络的某些部分则是特定于每个任务的，用于处理与特定任务相关的信息。- 硬参数共享：在网络的底层使用相同的参数（权重和偏置）来处理所有任务，而在网络的高层为每个任务设计特定的层，这些层的参数不共享。：在网络的适当位置融合来自不同任务的特征，这有助于模型学习到更丰富的表示，从而提高每个任务的性能。