【动手学轨迹预测】2.6 预测编码模块中的Transformer

自从Transformer横空出世, 预测网络也大量应用了注意力机制多头机制, 效果提升非常显著. 本节将介绍它们在轨迹预测网络中的应用.

2.6.1 Self-Attention和Cross-Attention

Self-Attention是一种用于处理序列数据的机制，它允许模型在处理序列数据时，对序列中不同位置的元素进行加权聚合，从而更好地捕捉元素之间的依赖关系和全局信息。 相较于传统的RNN,CNN, Self-Attention展现出了更强大的长期依赖关系捕捉能力和全局观察能力. 输入序列自身作为query, key和value放入attention模块中, 供自身查询自身的注意力值.

Cross-Attention是一种在两个不同输入序列之间建立关联并计算注意力权重的机制。它扩展了Self-Attention的思想，通过引入额外的输入序列来丰富注意力机制。被查询的序列作为key和value送如注意力网络, 查询的序列作为query与key, value序列交互得到权重矩阵.

2.6.1.1 agent历史轨迹编码

• Self-Attention

采用Self-Attention机制, 将agent的所以时间步的历史信息全部作为key, value, 查询时某一时间步作为query. 来查询某一时间步与历史状态的相关性.

$$\begin{array}{rl}& Q:P^t\\ & K\&V:[P^1,P^2,...,P^n]\end{array}$$

• Cross-Attention

当主体是自车时, 也常常将当前帧作为query, 历史全部状态作为key, value. 查询当前状态与历史状态的相关性.

Q : P c u r r e n