transformer预测过程_Transformer在推荐模型中的应用总结

最近基于transformer的一些NLP模型很火（比如BERT，GPT-2等），因此将transformer模型引入到推荐算法中是近期的一个潮流。transformer比起传统的LSTM、GRU等模型，可以更好地建模用户的行为序列。本文主要整理transformer在推荐模型中的一些应用。

1. Self-Attentive Sequential Recommendation

模型结构：

方法：

符号定义：

问题定义：模型输入是用户u的一个历史交互序列：

, 其期望的输出是该交互序列一个时间刻的偏移：

。

• Embedding层

将输入序列

转化成固定长度的序列

。意思是如果序列长度超过n，则使用最近n个行为。如果不足n，则从左侧做padding直到长度为n。

位置embedding: 因为self-attention并不包含RNN或CNN模块，因此它不能感知到之前item的位置。本文输入embedding中也结合了位置Embedding P信息，并且位置embedding是可学习的:

• Self-Attention层

Transformer中Attention的定义为：

本文中，self-attention以embedding层的输出作为输入，通过线性投影将它转为3个矩阵，然后输入attention层：

为了避免在预测i时刻的item时用到后续时刻的信息，本文将符合（j > i）条件的

与