Social Attention

摘要--在人群中导航的机器人需要能够规划安全、高效和人类可预测的轨迹。这是一个特别具有挑战性的问题，因为它需要机器人预测人群中未来的人类轨迹，在人群中每个人都隐含地相互合作以避免碰撞。先前的人类轨迹预测方法已将人与人之间的相互作用建模为接近度的函数。然而，这并不一定是真的，因为在我们附近的一些人朝同一个方向移动可能不像其他更远的人那么重要，但这可能会在未来与我们相撞。在这项工作中，我们提出了社会注意力，一种新颖的轨迹预测模型，它捕获了每个人在人群中导航时的相对重要性，而不考虑他们的接近程度。我们在两个公共可用的人群数据集上展示了我们的方法相对于最先进的方法的性能，并分析了训练的注意力模型，以更好地理解当在人群中导航时，人类会关注哪些周围的代理。

 

I. INTRODUCTION

 

机器人被设想在无脚本的环境中与人类共存，并完成一组不同的目标。为了实现这一目标，导航是自主移动机器人的一项重要任务。这要求移动机器人不仅以安全和高效的方式导航人类人群，而且以社会兼容的方式导航，即机器人必须协作避免与周围人类的碰撞，并以人类可预测的方式改变其路径。为了实现这一点，机器人需要准确预测人群中人类的未来轨迹，并相应地规划自己的路径。

 

社会性机器人导航领域的早期工作已经对人群中的个体人体运动模式进行了建模，以预测未来的轨迹，如[3]，[19]，[27]。然而，如[28]所示，这样的独立建模不能捕捉人群中人类之间复杂和微妙的交互，并且机器人的最终路径是高度次优的。对于机器人以顺应社会的方式导航，关键是捕捉在人群中观察到的人与人之间的相互作用。

 

更近的方法，如[1]，[28]，[31]通过空间局部相互作用模型对所有相互作用代理的未来轨迹的联合分布进行建模。这样的联合分布模型能够捕获相互作用的人类轨迹之间的依赖关系，并导致社会顺应预测。然而，这些方法假设只有本地邻居中的人类才会影响彼此的运动，这在真实的人群场景中并不一定是真的。例如，假设有一个长长的走廊，两个人在两端朝对方移动。如果他们两个都在走路，这样的假设成立，因为他们在这么长的距离内不会相互影响。然而，如果其中一个人开始跑步，另一个人就会调整自己的动作，以避免在跑步者进入当地社区之前发生碰撞。这一观察使我们领悟到，人群中人与人之间的互动不仅取决于相对距离，还取决于其他特征，如速度、碰撞时间[13]、加速度和航向。

 

在这项工作中，我们提出了一种方法，通过一种新颖的数据驱动架构来解决这一观察问题，用于预测人群中人类的未来轨迹。作为实现社会可接受的机器人导航的最重要的一步，我们将重点放在人群中的人类轨迹预测问题上。我们使用前馈、完全可区分和联合训练的递归神经网络(RNN)混合来模拟人群中所有人的轨迹，解决问题的空间和时间方面。人与人之间的交互使用软注意模型对人群中的所有人进行建模，从而不会限制采用局部邻域假设的方法(图1)。由此产生的模型捕获了每个人对另一个人的影响，以及他们互动的性，并预测了他们未来的发展轨迹。最后，我们证明了我们的模型，社会关注，能够比在两个公开可用的真实世界人群数据集上的最先进的方法更准确地预测人类轨迹。我们还分析了训练的注意力模型，以理解从人群数据集中学习到的人与人之间交互的本质

 

图1.在人群中导航时，人类在每个时间步只关注周围代理的一个子集。在这项工作中，我们试图通过捕捉细微的人与人之间的相互作用来学习这样一种超越周围主体的注意力模型，以更准确地预测人群中所有主体的轨迹

 

在本文中，我们处理拥挤空间中的人体轨迹预测问题。我们假设对每个场景进行预处理，以跟踪人群中的行人，并在连续的时间步长上获得他们的空间坐标。请注意，行人跨过时间步长进入和离开场景，具有不同长度的轨迹。设表示代理i在时间步t的空间位置。

 

遵循与[1]类似的符号，我们的问题可以表示为：给定空间位置对于代理；来自时间步长，预测它们的未来位置.

 

III. RELATED WORK

我们的工作与过去的文献相关，包括为导航建模人类交互、人类轨迹预测和时空模型

 

1. 为导航建模人类交互

为了预测人群中行人未来的行为，我们需要准确地建模行人之间的相互作用。[8]提议的社会力(Social Force)的早期工作，它使用引导行人朝向目的地的吸引力和排斥力来模拟行人的运动，并确保避免碰撞。随后，几种方法[11]，[22]通过将力函数的参数拟合到观察到的人群行为来扩展社会力模型。使用基于相对距离的吸引力和排斥力，社会力模型可以捕获简单的交互作用，但不能模拟复杂的人群行为，如合作，如[1]所示。

 

[7]的开创性工作介绍了一种关于人类接近关系的理论，该理论已被用于基于势场的方法，如[25]，以在机器人导航的人群中模拟人与人的交互。基于邻近度的模型有效地捕获了反应性的碰撞避免，但没有对人与人以及人与机器人的合作进行建模。然而，合作模式对于在密集人群中安全高效的机器人导航是必不可少的。如[28]所示，缺乏合作导致冻结机器人问题，其中机器人认为环境中没有可行路径，尽管存在几个可行路径。

 

最近，由[28]提出使用相互作用高斯过程(IGP)来建模人群中所有相互作用代理的轨迹的联合分布，使用具有手工制作的相互作用势项的高斯过程。潜在项基于人群中人的相对距离来捕获相互作用，并导致概率模型，该概率模型已被证明捕获了联合碰撞避免行为。这在[31]中得到了扩展，将手工制作的势项替换为基于占用网格的局部训练的交互模型。然而，这些方法基于相对距离和方向来建模交互，忽略了其他特征，如速度和加速度。

 

最后，[17]，[18]的工作明确地对人与人和人与机器人的交互进行建模，并使用基于特征的表示法联合预测所有代理的轨迹。他们使用最大熵逆强化学习(IRL)来学习导致类似人群行为的轨迹分布。使用的特征(如间隙、速度和组成员资格)经过仔细设计。然而，他们的方法只在不超过四个人的脚本环境中进行了测试，并且由于基于特征的联合建模，它与所考虑的代理数量的伸缩性很差。最近，[24]使用滚动地平线运动规划方法将这种方法扩展到不可见和非结构化的环境中。

 

1. Human Trajectory Prediction

在视频监控领域，人体轨迹预测是一个重要的挑战。[12]，[14]的方法使用高斯过程学习视频中行人的运动模式，并将观察到的轨迹聚类为模式。这些运动模式捕获导航行为，如静态避障，但它们忽略了人与人之间的相互作用。IRL还被用于[15]中的活动预测，通过使用语义场景信息对人与空间的交互进行建模，通过推断场景中的可穿越区域来预测行人的未来轨迹。但是，人与人之间的交互没有建模。最近，[1]使用长短期记忆网络(LSTM)来模拟相互作用代理的未来轨迹的联合分布。这项工作在[2]，[29]中进行了扩展，除动态代理外，还在模型中包括静态障碍。然而，这些方法假设只有在行人的局部离散邻域中的动态代理才会影响行人的运动。如第一节所示，这不一定是真的，在我们的工作中，我们不做这样的假设。作者还想指出最近的一项工作[4]，他也考虑了环境中的所有代理人，而不仅仅是当地的邻居，使用注意力。然而，所使用的注意力是基于接近度而不是从数据中学习的。

 

1. 时空模型

在本文中，我们提出了使用时空图进行人体轨迹预测的任务。时空图具有表示问题组件的节点和捕获节点之间时空交互的边。这种时空公式在机器人学和计算机视觉中得到应用，[5]，[9]，[26]。传统上，诸如条件随机场之类的图形模型用于对这样的问题建模，[16]，[21]，[33]。最近，[10]引入了结构RNN(S-RNN)，这是一种丰富的RNN混合物，可以联合训练来建模时空任务中的动态。这已经成功地应用于不同的任务，如人体运动建模和驾驶员机动预期。在本文中，我们将使用S-RNN的一种变体。

 

IV. APPROACH

四、方法

人类通过根据周围其他人的运动调整自己的轨迹来导航人群。在[1]，[2]，[29]，[31]中假设这种影响在空间上是局部的，即只有空间邻居影响人群中的人的运动。但如第一节所示，这不一定是真的，速度、加速度和航向等其他特征起着重要作用，使不在空间上的代理人能够影响行人的运动。在这项工作中，我们的目标是通过学习对代理的注意力模型来建模人群中所有代理的影响。换句话说，我们试图回答这个问题：当人类在人群中导航时，会关注哪些周围的代理人？我们的假设是，通过我们的模型学习的轨迹的表示使我们能够更好地有效地推理周围代理的重要性，而不是只考虑空间上的局部代理。

 

如第一节所述，为了模拟人与人之间的交互，我们不能独立地预测每个人的未来位置。相反，我们需要跨多个人共同推理，并耦合他们的预测，以便捕获他们之间的交互。为了实现这一目标，我们使用了一种前馈的、完全可区分的、联合训练的RNN混合物，它可以预测它们未来的位置并捕获人与人之间的相互作用。我们的方法建立在[10]中为此目的提出的体系结构之上。

 

1. Spatio-Temporal Graph Representation

1. 时空图表示

 

我们使用与[10]相似的时空图表示，其中，其中是stgraph，是节点集，是空间边的集，是时间边的集。注意，使用展开图以形成。因此，在展开的stgraph中，使用边连接相同时间步长的不同节点，而使用边连接相邻时间步长的相同节点。有关一般图表示的更多细节，请读者参阅[10]。

（Structural-rnn: Deep learning on spatio-temporal graphs）

 

在这项工作中，我们将人体轨迹预测问题表述为一个时空图。St-图的节点表示人群中的人，空间边在同一时间步连接两个不同的人，而时间边在相邻的时间步连接相同的人。空间边旨在捕捉两个人之间相对方向和距离的动态变化，而时间边缘则捕捉人类自身轨迹的动态变化。在时间步t与节点v相关联的特征向量是，即相应人的空间位置。与时间步长t处的空间边缘相关联的特征向量是，即从时间t处u的位置到v在t处的位置的向量(对相对方向和距离进行编码)。类似地，与时间步长t处的时间边相关联的特征向量是，即从节点u在t−1处的位置到其在t处的位置的向量。图2中示出了对应的st图表示(具有展开的st图)。

图2.示例st-graph，两个时间步长的展开st-graph和相应的因子图

如图2所示，st图的因子图表示将每个节点的因子函数和每个边的成对因子函数相关联。在每个时间步长，st图中的因子观察节点/边特征，并对这些特征执行一些计算。这些因素中的每一个都有需要学习的参数。在我们的公式中，所有节点共享相同的因子，使得模型可以在不增加参数数量的情况下处理更多节点(密集人群中)。由于类似的原因，所有空间边共享一个公共因子，并且所有时间边共享相同的因子函数。请注意，空间边缘和时间边缘的因子是不同的，因为它们捕获轨迹的不同方面。这种参数共享对于在具有不同数量的人的场景中进行泛化是必要的，并且保持参数化紧凑。

 

1. 模型架构

因子图表示法自然适用于S-RNN体系结构[10]。我们用RNN表示每个因素。因此，对于每个节点因子，我们都有nodeRNNs，对于每个边缘因子，我们都有edgeRNNs。注意，所有nodeRNN、edgeRNN和时间edgeRNN在它们之间共享参数。空间edgeRNNs模拟人群中人-人交互的动力学，时间edgeRNNs模拟人群中每个人的个体运动的动力学。节点RNN使用来自相邻edgeRNN的节点特征和隐藏状态来预测节点在下一个TimeStep处的未来位置。我们要强调的是，由于我们在所有节点和边上共享模型参数，因此参数的数量与任何给定时间的行人数量无关。

 

 

我们的体系结构与S-RNN体系结构不同，它引入了一个注意力模块来计算对每个节点的相邻空间边缘RNN的隐藏状态的软关注，如图3所示。我们将在以下小节中描述这些组件中的每一个。

 

Fig. 3. Architecture of EdgeRNN (left), Attention module (middle) and NodeRNN (right)

 

1. EdgeRNN：每个空间edgeRNN Ruv，在每个时间步t，获取对应边的特征Xt uv，将其嵌入到固定长度矢量et uv中，并用作RNN单元的输入，如下所示：

其中φ(·)是嵌入函数，wSpatial e是嵌入权重，ht uv是RNN在时间t的隐藏状态，而W r Spatial是空间edgeRNN单元的权重。

 

时间edgeRNN Ruu以类似的方式定义，对于嵌入和edgeRNN，分别具有其自己的一组权重Wtime和Wtemr。因此，用于edgeRNNs的可训练参数是Wtime=fWtime e；Wtime r g和W space=fW Spatial e；W space r g。

 

1. 注意模块：对于每个节点v，注意模块计算节点v所属的空间边的edgeRNNs Rv·的隐藏状态ht v·上的软注意。观察到这与[10]的S-RNN体系结构不同，在S-RNN体系结构中，这些空间边的边缘特征被添加并发送到edgeRNN以计算单个隐藏状态，该状态用作nodeRNN的输入。

 

在每个节点v的每个时间步骤t处，我们计算其对应的时间边RNN Rvv的隐藏状态ht vv和相邻空间边RNNs Rv·的所有隐藏状态ht v·之间的得分。使用的得分函数是按比例缩放的点积注意[30]，由下式给出：

其中m是与节点相关联的空间边的数量，w1；w2是线性缩放的权重，并将隐藏状态投影到去维向量中。使用pmde缩放点积是必要的，因为像在[30]中发现的那样，对于较大的de值，点积关注度表现很差，并且空间边缘的数量随着帧的不同而变化，这取决于代理的数量。

 

输出矢量HVT被计算为Htv·的加权和，权重为计算得分的Softmax，

 

因此，注意模块中的可训练参数是权重W1和W2

 

1. NodeRNN：最后，nodeRNN Rv在每个时间步t，取对应节点的特征xt v，将其嵌入固定长度向量Et v中。还取对应时间边RNN Rvv的隐藏状态ht vv，将其与计算出的注意输出hvt连接，并将其嵌入v处的固定长度向量。这些嵌入被级联并作为输入发送到RNN信元，如下所示：