深度推荐模型-DIN

一、动机

Deep Interest Network(DIN)是2018年阿里巴巴提出来的模型，该模型基于业务的观察，从实际应用的角度进行改进，使模型更加具有业务气息。该模型的应用场景是阿里巴巴的电商广告推荐业务，这样的场景下会有大量的用户历史行为信息，DIN模型的创新点就是使用了注意力机制来对用户的兴趣动态模拟，而模拟过程存在的前提就是用户之前有大量的历史行为了，这个模型的使用场景非常注重用户的历史行为特征（历史购买过的商品或者类别信息）。
电商广告的推荐场景：
1.用户兴趣多种多样，并变化多端
2.捕捉用户兴趣点非常重要
3.用户的兴趣往往可以在其历史行为中进行学习
Embedding&MLP的不足之处：Embeding&MLP模型对于这种推荐任务一般有着差不多的固定处理套路，就是大量稀疏特征先经过embedding层， 转成低维稠密的，然后进行拼接，最后喂入到多层神经网络中去。
这些模型在这种个性化广告点击预测任务中存在的问题就是无法表达用户广泛的兴趣，因为这些模型在得到各个特征的embedding之后，就蛮力拼接了，然后就各种交叉等。这时候根本没有考虑之前用户历史行为商品具体是什么，究竟用户历史行为中的哪个会对当前的点击预测带来积极的作用。 而实际上，对于用户点不点击当前的商品广告，很大程度上是依赖于他的历史行为的。
在业务的角度，应该自适应的去捕捉用户的兴趣变化，放到模型中，我们应该考虑到用户的历史行为与当前商品广告的关联性，如果用户历史商品中很多与当前商品关联，那么说明该商品可能符合用户的口味

二、模型结构

2.1 特征表示

对于特征表示，这里有个例子：[weekday=Friday, gender=Female, visited_cate_ids={Bag,Book}, ad_cate_id=Book]，一般通过one-hot的形式对其编码，转成系数的二值特征的形式，但我们发现用户的历史商品列表， 对于某个用户来讲，这个值是个多值型的特征， 而且还要知道这个特征的长度不一样长，也就是用户购买的历史商品个数不一样多，这里用到了multi-hot编码，有哪个商品，对应位置就是1，编码后的数据为：