CIDNN全文翻译

用于行人轨迹预测的深度神经网络编码人群交互

 

由于人类的复杂性，行人轨迹预测是一项具有挑战性的任务。在本文中，我们在深度学习框架内通过考虑每个行人的运动信息及其与人群的交互来解决这个问题。具体地说，受深度学习中残差学习的启发，我们提出对每个行人的相邻帧之间的位移进行顺序预测。为了预测这种位移，我们设计了一种人群交互深度神经网络(CIDNN)，该网络考虑了不同行人对目标行人位移预测的不同重要性。具体地说，我们使用LSTM对所有行人的运动信息进行建模，并使用多层感知器将每个行人的位置映射到高维特征空间，在高维特征空间中，特征之间的内积被用作两个行人之间的空间亲和力的度量。然后根据所有行人与目标行人的空间亲和度对所有行人的运动特征进行加权，进行位置位移预测。在公开可用的数据集上的广泛实验验证了我们用于轨迹预测的方法的有效性。

 

Lstm 多层感知器 高维特征空间 亲和力度量 加权 预测

 

1. Introduction

行人轨迹预测的目的是基于行人的历史路径来预测行人未来的一组连续的位置坐标，由于其在行为预测[24][4]、交通流分割[22]、人群运动分析[31]、人群计数和分割[27]、异常检测[16]等方面的潜在应用，因此是计算机视觉中的一个重要任务。为了解决这个问题，已经做出了巨大的努力[3][10][29][31]。然而，由于行人的复杂性，它仍然是一个具有挑战性的问题。在实践中，为了使问题易于处理，一些工作试图通过仅考虑与行人轨迹相关的几个因素来对任务进行建模，包括个人的决策过程[10]，不同行人之间的相互作用[25]，以及每个行人的历史运动统计[26]。

 

鉴于计算机视觉中深度学习的成功，它也被引入到行人轨迹预测中，其中行为卷积神经网络(Behavior CNN)[25]和社会长-短期记忆(Social Long-Short Memory，Social LSTM)[1]是两种具有代表性的方法。行为CNN用图像空间中的位置位移图表示所有行人的历史轨迹，然后用CNN将每个行人与其邻居相关联，用于未来的轨迹预测。但是这种方法不能模拟在更遥远的未来行人之间的潜在相互作用。例如，如图2所示。1行人在远距离快速行走也可能会影响目标行人的行走轨迹，或者如果一群行人正朝目标步行或站在目标行人的行走方向上，即使他们距离目标行人很远，他/她也可能提前改变自己的行走方向，提前避开这些人。为了防止这种情况，提出了Social LSTM[1]。它设计了一个社交池层来捕获多个行人之间的依赖关系以及在更遥远的将来可能发生的交互，从而获得更好的性能。然而，这样的社会汇集不会基于相邻行人的空间位置和他们的运动信息来区分相邻行人的效果。

 

在本文中，我们提出了一种人群交互深度神经网络框架(CIDNN)来顺序预测每个行人两帧之间的坐标位移。我们假设目标行人的运动取决于其运动信息(速度，加速度)，其他行人的运动信息，以及目标与所有休息行人之间的空间亲和力，其中空间亲和力衡量休息行人对目标行人的影响程度。为了对每个行人的运动进行建模，采用了LSTM模型，该模型的输入是行人在不同时刻的坐标序列。为了度量每个行人在给定时刻对目标行人的空间亲和力，我们将行人的坐标输入多层感知器，并使用行人坐标特征与目标坐标特征之间的内积来度量空间亲和力。然后将目标与包括自身在内的所有行人之间的交互建模为其空间亲和力与相应行人的运动特征的乘积，并将交互特征馈送到另一个多层感知器中，用于下一帧中目标的坐标位移预测。我们考虑了场景中的所有行人以及他们用于轨迹预测的空间亲和力，因此如表1所示，我们的方法优于LSTM[1]和行为CNN[25]。此外，与直接预测坐标的Social LSTM和Behavior CNN不同，我们提出预测下一帧和当前帧之间的位置位移，这进一步验证了残差学习在计算机视觉中的有效性[8][9]。

图1.CIDNN动机图解。目标行人(PT)从时间t到t+1的运动取决于它的运动，以及它在时间t与其他行人(P5和P6)的空间亲和力，以及其他行人的运动。虽然它到行人P1的距离很远，但是P1移动的很快，所以它也影响了PT的运动。因此，PT的轨迹预测应该考虑固定距离的行人以外的更多的行人，并且不同的行人对目标行人的影响程度也不同。

 

本文的贡献可以概括如下：首先，提出了一种用于轨迹预测的CIDNN架构，该架构考虑了场景中的所有行人进行轨迹预测。我们的CIDNN有三个特点：

 

1. 基于LSTM的运动编码策略；
2. 基于位置的空间亲和力测量；
3. 基于坐标位移的轨迹预测。

 

我们建议使用基于位置的空间亲和度度量模块，实验表明它比基于距离的空间亲和度度量模块具有更好的性能。我们以坐标作为输入，丰富了训练样本的数量，方便了网络训练。因此，我们的CIDNN网络结构简单，易于并行。因此，我们的轨迹预测比现有的方法更加有效和高效；最后，大量的实验验证了我们的模型对于轨迹预测的有效性。

 

1. Related Work

2.1. Hand-crafted Features Based Trajectory Prediction

社会力模型和主题模型通常用于基于手工特征的轨迹预测。

社会力模型根据行人之间的相互作用学习运动模式。在[10]中首次提出对吸引力和排斥力进行建模。后来Mehran et al.。建议使用社会力模型来学习[16]中人与人之间的相互作用力。Antonini等人。[2]提出了一种离散选择框架，在假设目的地和路径已知的情况下预测行人的下一步行为。与社会力量模型不同，主题模型[22][11][6]基于空间和时间信息对运动模式进行建模。此外，轨迹聚类[13][17][21]也用于通过将不同轨迹聚类为不同类别来进行人群流估计。然而，这些方法都是基于手工制作的特征，这限制了轨迹预测的性能。

 

1. 1. Deep Neural Networks Based Trajectory Prediction

基于深度学习的方法已经被引入用于行人轨迹预测[1][25][7]，鉴于其对于许多计算机视觉任务的良好性能[19][12]。具体地说，Behavior-CNN[25]使用2D地图来编码历史步行路径，并使用CNN来模拟不同行人之间的相互作用，但它没有考虑更遥远的未来行人的影响。

用于人类轨迹预测的Social LSTM[1]设计了Social Pooling层来捕获多个相关序列之的依赖关系，以及可能在更遥远的将来发生的交互，但它没有考虑不同行人的不同重要性。在[14]中，Lee et al.。使用RNN来捕获过去的运动历史、语义场景上下文以及多个代理之间的交互，用于动态场景中的轨迹预测。在[7]中，Su et al.。提出部署具有社会感知递归高斯过程的长短期记忆(LSTM)网络来对人群的复杂转变和不确定性进行建模，并取得良好的轨迹预测性能。但它也只考虑了邻近的行人，并没有区别对待他们。如上所述，一些距离较远但移动速度较快的行人也可能在下一时刻影响目标行人的轨迹，不同的行人对目标行人轨迹的影响程度不同。在本文中，我们建议在进行轨迹预测时考虑这两个因素。

 

3. Method

3.1. The Formulation for Pedestrian Trajectory