注意力机制在推荐模型中的应用

目录

一、注意力机制在推荐模型中的应用

二、AFM-引入注意力机制的FM

三、DIN、引入注意力机制的深度学习网络

四、强化学习与推荐系统结合

用户在浏览网页时，会选择性的注意页面的特定区域，忽视其他区域。
从17年开始，推荐领域开始尝试将注意力机制引入到模型中。

在NFM模型中，不同域的特征向量经过特征交叉，将各交叉特征向量进行“加和”，
这样一视同仁的对待所有的交叉特征，损失了大量的有价值信息。

举个例子就是，性别与年龄的交叉，性别与购买记录的交叉，
假设判断用户是否购买鼠标这个可能性，那么性别与年龄特征的组合，
就不如性别与有过购买键盘历史的这两个特征组合的价值高。

具体地说，
AFM 模型引入注意力机制是通过在特征交叉层和最终的输出层之间加人注意力网络(Attention Net)实现的。
AFM的模型结构图如图所示，注意力网络的作用是为每一个交叉特征提供权重，也就是注意力得分。

阿里巴巴提出的 DIN 模型显然更具业务气息。
它的应用场景是阿里巴巴的电商广告推荐，因此在计算一个用户u 是否点击一个广告 a 时，
模型的输入特征自然分为两大部分:

• 一部分是用户u的特征组 ,
• 另一部分是候选广告 a 的特征组。

无论是用户还是广告，都含有两个非常重要的特征一商品 id( good _id)和商铺 id( shop_id )。
用户特征里的商品 id 是一个序列代表用户曾经点击过的商品集合，商铺 id 同理;
广告特征与用户特征关联度非常强，在建模的过程中需要投给不同的权重，加入了注意力权重的深度学习网络就是DIN模型。

参考资料是《深度学习推荐系统》