一种混合方法来进行车辆操作意图与其他用户的运动预测

一种混合方法来进行车辆操作意图与其他用户的运动预测

近年来，人们对自动驾驶技术越来越感兴趣，为了驾驶的安全，自动驾驶车辆主要使用来自车内传感器获得的信息进行环境重建。通过环境重建，对周围车辆将要执行的操作和行驶路径的预测可以被计算出来，进而用于决定执行哪种操作和相应的路径，这个问题被称为运动预测。尽管基于物理的模型在短期内表现良好，但在长期内机器学习有潜力更加准确地预测运动，特别是在其他道路用户的操作意图事先已知的情况下（基于操作的预测）。

附赠自动驾驶最全的学习资料和量产经验：链接

在本文中，提出了一种混合方法来进行预测，包括操作意图预测器、基于物理的运动预测器和基于操作的运动预测器。

主机车辆周围的车会被持续跟踪，基于支持向量机（SVM）的操作意图预测器计算每辆周围车辆会改变车道或保持在原车道的概率，此外，还使用了基于常数转向率和速度（CTRV）的运动模型来预测车辆的轨迹。一旦操纵意图确定，基于机器学习算法，如高斯过程和支持向量回归（SVR）的操纵基础运动模型将预测车辆的变道或车道跟随轨迹。这些模型是通过对60个小时的自然驾驶数据中的变道操作进行训练的。最后，基于物理和基于操纵的运动预测通过一个加权函数进行合并。

这些模型经过交叉验证，并且在硬件在环（HIL）的仿真环境中测试了子模块之间的性能以及集成。这些模型能够在周围车辆跨越车道标记之前的1.2秒内检测到其变道意图，其正确率为82%。向量回归（SVR）和常数转向率及速度（CTRV）的组合能够较好地在较短和较长的预测时段内进行有效预测，同时保留了这两种方法的优点。在4秒后，这一组合模型在纵向距离和横向距离的预测上的误差比使用基于物理的模型低50%，在较短的预测时段内与SVR相比性能更佳。

所提出的方法能够预测其他道路用户在标准情况下的运动，为了处理更复杂的情况，需要使用道路信息进行训练。为了获得更好的结果，训练集需要扩展，并且模型需要在安全关键场景中进行验证。

这项工作提出了一种从主机车辆角度预测车辆运动的混合方法。该方法结合了机器学习和基于物理的模型，以提高在较短和较长预测时段内的准确性。来自预测模块的信息可以用于（部分）自动化车辆的路径规划。

试验结果以其在HIL环境中的集成显示出了很大的潜力，可以使自动驾驶实现更高级别的自动化。

01 引言

自动驾驶技术近年来越来越引起人们的兴趣。为了提高道路安全性，需要更高级别的自动驾驶。自动驾驶车辆必须能够利用车内传感器的信息来重建环境。仅仅依赖于当前的环境状态和交通状况不足以做出关于选择行驶路径的安全决策：必须进行对自动驾驶车辆周围道路参与者的状态的预测。

另一个需要预测其他道路用户行为的重要用例是卡车编队，即两辆或三辆卡车以较短的车辆间距行驶，以降低燃料消耗并提高交通效率[1]。对切入编队的汽车行为进行早期预测将有助于提高操作安全性，因为控制器可以利用这一额外信息来预测汽车的行驶状态，这在车辆间通信失效的情况下尤为重要。

道路参与者的预测可以分为两个阶段：操纵意图和运动预测。操纵意图的预测输出道路参与者在操纵动作即将开始之前最可能执行的动作。典型的操纵动作包括变道、车道跟随、加速、刹车和转弯。这些意图可以使用例如逻辑回归或支持向量机等方法来进行预测。

运动预测的输出是道路参与者将来最可能遵循的轨迹。为了完成这一任务广泛使用了机器学习方法，例如使用高斯过程[7]、高斯混合模型[8]、贝叶斯网络[9]、神经网络[6]、支持向量回归[4]等方法。

根据[3]，有三大主要的运动预测算法：

1. 基于物理模型：使用运动学或车辆动力学来预测未来的运动。

2. 基于动作模型：已知预期操纵动作，并基于此来预测运动。

3. 基于互动感知模型：模型考虑与其他道路用户的互动来预测运动。

本文不会考虑基于互动感知模型，因为它们需要大量的数据进行训练。本文的重点是在高速公路上预测其他道路用户的意图和运动，其中复杂性仍然有限，交互作用可以在一定程度上忽略。在这种情况下，如果操纵意图已经提前知道，基于操纵的方法可以实现良好的性能[10], [12]。

尽管基于物理模型在短期内表现出色，但在较长期内，机器学习有潜力预测更准确的运动，尤其是在针对特定操纵的训练集上进行训练。为了充分发挥两种方法的优势，可以将基于物理的预测和机器学习相结合。例如，在[11]中，使用动态贝叶斯网络和恒定转向率和加速度（CTRA）来预测车道变换运动。

在本文中，提出了一种混合方法，包括操纵意图的预测、基于物理的运动预测和基于操纵的运动预测。

这些模型在HIL环境中进行集成，适用于在线部署在自动驾驶车辆中。

02 方法

该研究的目标是通过从工具车辆（主机车辆）的角度提前捕捉其他道路用户在高速公路上的未来状态的意图，即在操纵动作开始之前进行预测，从而提高自动驾驶车辆的安全性。

为了预测其他道路用户的运动，我们将我们的解决方案分为以下模块：

• 操纵意图预测器。

• 基于物理的运动预测器。

• 基于操纵的运动预测器。

• 基于物理和操纵模型的组合。

上述模块的一般架构如图1所示。操纵意图预测器计算周围每辆车辆切入或保持在车道内的概率。此外，还使用运动学模型来预测轨迹（短期）。一旦操纵意图已知，基于操纵的运动模型将预测切入的轨迹（长期）。最后，基于物理的和基于操纵的运动预测通过加权函数进行合并。

在接下来的子章节中，将详细解释不同模块。

图1 预测模型的高级架构。绿色模块是基于数据驱动的，使用机器学习方法。蓝色模块基于物理定律和规则

操纵动作意图

基于支持向量机（SVM）的操纵意图预测器，计算了每辆周围车辆切入或保持在车道内的概率。主机车辆周围的车辆受到持续跟踪。为了获得最准确的输入数据以进行切入操纵意图预测，使用高精度测量系统（如OxTS）与车辆传感器（雷达和Mobileye摄像头）一起进行测试。这些测试有助于提供准确的数据，以便操纵意图预测算法能够更精确地预测其他车辆的意图。在高速公路环境中进行了总共80次车道变换操作，所有这些车道变换操作的数据都在车道交汇的瞬间进行了同步。当它加速朝着车道标线（从车道交汇的瞬间向后看）时，车道变换的开始被定义为最后一个时间点。作为对照，还从自然驾驶中收集了车道保持数据。从所有这些数据中提取了相关参数：

以下是从数据中提取的相关参数：

• 横向距离/速度和加速度（与其他车辆和车道相关）。

• 纵向距离和速度。

• 偏航角、偏航角速度和偏航角加速度。

这些参数用于分析和预测车辆的行为和意图，特别是在车道变换操作中。

这些参数用于支持向量机（SVM）机器学习算法，以分类即将发生的车道变换操作。最终选择的参数是基于交叉验证的性能检查和顺序前向选择方法来确定的，其中额外的参数需要对性能得分贡献至少5%才能包括在内。此外，还进行了简单的计算，以确定预测切入操作所需的时间，以提供有关算法的实用性的指示。最后，在自然驾驶数据上进行验证以提供算法的准确性。在这个验证中，只有当概率高于0.95并持续至少0.1秒时，才会预测发生车道变换操作，以防止不稳定的预测。

运动学运动预测模型

对于运动学模型，使用了常数转向率（W）和速度（v）算法，通常被称为CTRV[2]。这个算法计算了一定预测时程向量（T）内的纵向（x）和横向（y）位置以及偏航角（ɑ），如下方方程所示：

基于操纵的预测模型

一旦操纵意图已知，基于机器学习算法的基于操纵的运动模型会预测切入操作的轨迹。

使用的机器学习模型有高斯过程和支持向量回归，一般来说，支持向量机和高斯过程只能预测未来的一个数值。为了让它们能够预测完整的轨迹，采用了一种称为"Direct Recurrent"的架构，如我们之前的工作[7]中所解释的。这样做避免了典型的递归架构中误差的传播，同时保持了连续时间步之间的关系。这两种模型将称为"DR-SVR"和"DR-GPR"模型。

最终预测的轨迹将包括随时间变化的一系列位置，预测的时间范围 �ℎ 可以长达4秒。

其中， �ℎ =4s。

这些预测算法是通过在切入车辆的运动数据上进行训练开发的。所选择的特征包括：

• 主机车辆：速度和加速度。

• 其他道路用户（需要预测的）：纵向速度和加速度，与主机车辆相关的纵向和横向距离。

训练集是从自然驾驶数据中提取的，这些数据是TNO街道智能场景数据库[13]的一部分。使用的车辆是一辆乘用车，配备了用于车道检测的雷达和Mobileye系统。

组合混合模型

根据交叉验证结果，设计了一个加权函数来结合两个模型的输出（见图2）。基于物理的模型用于预测时间范围长达1.6秒，之后只使用基于操纵的模型，在时间的第一个间隔内，输出是两者的组合，从最初的100%的物理输出逐渐变为1.6秒后的100%的操纵输出。1.6秒是操纵模型在预测纵向距离时表现优于基于物理模型的时间范围，稍后在结果部分将呈现。

图2 用于结合基于物理模型（CTRV）的加权函数（蓝色）和基于操纵模型（DR-SVR

03 结果

操作意图预测

在操作意图预测算法中，到车道标记的距离预测得分最高。如果加上冲向车道的速度，预测结果会更好。在第三轮中添加最佳参数（纵向距离）仅增加了~2%的预测得分。因此，该参数和所有后续参数均未包含在内。图3显示了用于切入预测的数据，以及与所选参数相关的切入事件（蓝色）和直行事件（黑色）。从图中可以看出，切入事件可以通过与车道标记的较小距离和较大的负速度来识别。SVM机器学习算法的结果见图 4。根据这一结果，可以利用2个所选参数的当前值计算出发生切入的概率。

图3 用于预测算法的数据，X轴和Y轴为算选参数。蓝色为切入数据，黑色为车道保持距离

图4 基于到车道标记的距离和速度的切入预测算法。红色区域为切入几率高，蓝色区域为切入几率低

验证结果显示，准确率为82%，意味着82%的正确检测为切入检测。在检测时，平均切入变道的时间为为1.18秒（0.27 STD）。

基于操作的预测

对于基于操作的预测，考虑了两种模型：如在方法章节所述的DR-SVR和DR-GPR模型。模型经过交叉验证，纵向距离和横向距离的均方根误差分别如图5和图6所示。DR-GPR的横向距离均方根误差不超过0.5米，纵向距离均方根误差在4秒后不超过1.6米。在1s、2s、3s、4s后，DR-SVR的均方根误差为：

• 纵向距离分别为0.08米、0.28米、0.64米和1.15米。

• 横向距离分别为0.22米、0.28米、0.30米和0.30米。

DR-SVR受训练集规模较小的影响较小，两种距离的误差都较低。因此，将以此为基准，与下一节所述的基于物理的预测结果相结合。

图5 纵向距离随时间变化的均方根误差：蓝线和红线分别对应DR-SVR和DR-GPR

图6 侧向距离随时间变化的均方根误差：蓝线和红线分别对应DR-SVR和DR-GPR

基于物理和基于操作的轨迹预测比

基于操作的模型（DR-SVR和DR-GPR）与基于物理的模型（CTVR）进行了比较。根据结果，DR-SVR和CTVR的组合基于图2所示的加权函数。

由于CTRV与DR-SVR和DR-GPR相比需要更多的输入信号才能表现良好，因此选择了一个新的验证集来比较不同模型的性能。如方法部分所述，选择了用于训练机动意图预测器的相同数据集。图10显示了切入点横向距离的剖面图。从图中可以看出，右侧和左侧切入点都包含在验证集中。

图8和图9显示了纵向距离和横向距离的均方根误差。基于物理模型CTRV在纵向距离上优于基于操作的模型1.6s，在横向距离上优于基于操作的模型2s。结果表明，在较长的时间段，基于操作的方法优于基于物理的方法，尤其是纵向距离的DR-SVR和横向距离的DR-GPR。DR-SVR和CTRV的组合能够很好地预测较短和较长地层，保持了这两种方法的优点。在4s后，综合模型预测的纵向距离和横向距离的误差比使用基于物理的模型预测的误差低50%。从短视距来看，组合模型在0.5s后，预测纵向距离的均方根误差是DR-SVR的六分之一，横向距离的均方根误差比DR-SVR低62%。图7展示了一些预测实例。

图7 使用不同模型进行预测的示例绿色表示地面实况，品红色表示DR-GPR，青色表示DR-SVR，蓝色表示CTRV

图8 基于验证集的下列模型的纵向距离均方根误差：DR-GPR（洋红色）、DR-SVR（青色）、CTRV（蓝色）以及DR-SVR和CTRV的组合（红色）

图9 以下模型基于验证集的横向距离均方根误差：DR-GPR（洋红色）、DR-SVR（青色）、CTRV（蓝色）以及DR-SVR和CTRV的组合（红色）

图10 验证集：用于验证的所有切入随时间变化的横向距离

HIL设置

预测模型旨在用于增强自动驾驶功能。通过了解动态物体（如其他车辆）的未来状态，可实现高度自动驾驶并提高安全性。这些模型通常只能通过软件模拟进行测试，软件模拟可以评估模型的准确性，但不能确保这些模型能与控制器集成，并能利用雷达或摄像头等传感器感知到的数据进行实时推断。硬件在环的环境可以测试上述模型的功能，就像这些模型集成在真实的自动驾驶车辆中一样，测试其软件和控制器与自动驾驶汽车中通常存在的实际硬件组件的集成，以提供更真实的反馈。这些模型可实时运行，并与其他组件正常配合。通过创建模型的ROS节点来简化接口。

图11展示了演示视频中的三个重要时刻。蓝色车辆是安装了仪器的主机车辆，它将预测红色车辆的轨迹。在第一个时刻，红色车辆尚未进入蓝色车辆的视野。因此，尚未测量切入概率和切入时间。在第二张快照中，预测的切入概率为98%，预测的车道交叉时间为1.16s。红色连续线是基于CTVR的物理预测。第三个时刻表明切入已经发生，因此也可以使用基于操作的模式，这就是图中的洋红色线。可以看出，基于操作的预测比基于物理的预测要准确得多。

图11 模型同时运行的视频中的三个快照。蓝色车辆时自动驾驶车辆，安装了仪器，并将预测红色车辆的行驶轨迹

04 讨论

对切入预测算法的验证表明，该算法在并线情况时存在问题。这是有道理的，因为在并线情况下，MobilEye看到的车道标记并不是目标车辆的相关车道标记。这会导致向车道标记方向的大速度，从而产生误报。当移除这些情况（可以使用GPS和地图数据在线完成）。当Mobileye的车道检测功能得到改进后，82%的正确率会大幅提高。在几乎所有的误报中，都是由于对车道的检测不稳定而触发了切入预测。在计算穿越车道的平均时间时，会省略一小部分检测。在这一小部分检测中，当物体进入传感器视线时，检测立即发生，这就导致了不具代表性的较小的穿越车道时间。本研究选择恒定转弯率和速度（CTRV）运动学模型用于短时间预测。还有其他一些模型，如恒定转弯速率和加速度模型（CTRA）、恒定转向模型（CTRV）、恒定转弯速率和加速度模型（CTRA）、恒定转弯速率和加速度模型（CTRV）、恒定转弯速率和加速度模型（CTRV）、恒定转弯速率和加速度模型（CTRV）等。在提出的切入方案中，这两种方法可能会提供更好的结果，也可能不会。

基于操作的模型还用于预测车道跟随轨迹和预测随时间变化的方向α。在这两种情况下，模型都不成功：车道跟随集太小，无法对模型进行适当的训练，显示出过拟合，因此决定使用CTRV，它对这种线性行为显示出相当好的结果。未来的工作重点是训练能够预测车道跟随轨迹的机器学习模型。方向很难预测，因为目前的传感器无法准确测量方向，因此现有的训练集不足以确保对模型进行有效的训练。

在结果中，高斯过程模型（DR-GPR）与支持向量回归（DR-SVR）相比表现不佳，因为DR-GPR在特征空间范围内的不完整性更大。不过，由于DR-GPR的潜力，将继续对其进行研究。例如，它还可以输出预测轨迹的置信度。这一信息非常有价值，因为在预测不可靠的情况下，自动驾驶汽车可能会决定忽略它，并假设（例如）最糟糕的情况，以确保安全，或者可以使用一组预测模型，并在道路上行驶时选择置信度最高的模型。除此之外，高斯过程还能很好地处理噪音数据，这正是当前汽车传感器组所感知数据的情况。

所提出的方法能够预测标准情况下其他道路使用者的运动。为了处理更复杂的情况，应使用道路信息进行训练。为了获得更好的结果，需要扩展训练集，并针对安全关键场景检查模型的有效性。这可以在HIL中完成，在HIL中可以模拟关键场景，从而对模型进行测试。

05 结论

本研究提出了一种从主机车辆角度预测车辆运动的混合方法。该方法结合了基于操作的模型和基于物理的模型，以提高短距离和长距离预测的准确性。组合模型对纵向距离和横向距离的预测误差比基于物理模型的预测误差低50%。此外，组合模型在0.5秒后预测纵向距离的均方根误差是SVR均方根误差的六分之一，预测横向距离的均方根误差比SVR低62%。来自预测模块的信息可用于（部分）自动驾驶车辆的路径规划。在HIL环境中的集成显示出巨大的潜力，可使自动驾驶达到更高的自动化水平。未来的工作将侧重于更广泛地使用机器学习进行预测，以及使用HIL环境对安全关键场景进行验证。