序列特征的处理方法之一：基于注意力机制方法

前言

之前两篇讲过稠密特征和多值类别特征加入CTR预估模型的常用处理方法，这篇介绍一下针对序列特征采用的最基本的注意力机制方法。

我们都知道用户在使用APP或网站的时候，用户会产生一些针对物品的行为，比如点击感兴趣的物品，收藏或购买物品等，而这些行为往往代表着用户对这些物品是感兴趣的，而将这些交互过的物品放在时间轴来看，就形成了用户感兴趣的物品序列，如下图所示：

                           

那么如何利用这些用户感兴趣的物品序列来提取到用户的兴趣特征呢？从另一个层面上讲也就是怎样在这些用户感兴趣的物品序列当中提炼出一些共有的属性，而这些属性就能反映出用户当时的兴趣。

方法

（1）分析数据对象

我们要处理的数据对象是用户感兴趣的物品序列，而在用户感兴趣的物品序列中有两方面的信息可以提取，一方面是物品本身的特征信息，另一方面是物品的序列特征信息。可以理解为比如有同样的三个物品，不同的顺序排列代表着他们的序列特征信息不