推荐系统-论文阅读

1使用Bert来进行序列推荐-阿里

《BERT4Rec: Sequential Recommendation with Bidirectional Encoder》

局限性：之前的模型时从左到右的、单向结构限制了用户行为序列中隐藏表示的能力；它们通常假定一个严格有序的序列，而这并不总是实用的。
提出了 bert4rec 是应用deep biderectional self-attention 来对用户的行为序列进行建模的。
为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机蒙面项，通过对其上下文的联合条件进行预测序列中随机mask的items。

2使用自注意力机制进行物品推荐-AAAI19

《Next Item Recommendation with Self-Attention》整个网络是在度量学习(metric learning)的框架下进行训练，实验表明该方法可以在很大程度上改善序列化推荐的效果。   该算法使用 self-attention 从用户短期的交互记录中学习用户近期的兴趣，同时该模型也使用度量学习的方式保留了用户的长久的兴趣。

3深度矩阵分解模型理论及实践-2019

《Deep Matrix Factorization Models for Recommender Systems》

本文提出了一种基于神经网络结构的矩阵分解模型。该模型综合考虑了用户对物品的显式评分和非偏好隐式反馈，然后通过两组神经网络将用户和物品的特征提取到一个低维空间；并通过设计的新的损失函数进行反向学习。本文设计的新损失函数将显式反馈加入二元交叉熵损失函数中，称为归一化交叉熵损失。实验证明该模型在几个典型数据集上相对于其他经典模型表现更好。

4BST:将Transformer用于淘宝电商推荐-2019

《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》
阿里首次将Transformer用于淘宝电商推荐！效果超越深度兴趣网络DIN和谷歌WDL
用Transformer对用户最近的20个点击行为序列进行建模；结合了point-wise Feed-Forward Network（FFN）
和DIN的区别：使用 Transformer 来学习用户行为序列中每个 item 的更深层的表征，而 DIN 试图捕获之前点击的 item 和目标 item 之间的不同相似性。

5、融合表示学习的点击率预估模型DeepMCP-阿里-JCAI2019

《Representation Learning-Assisted Click-Through Rate Prediction》

本文的一个核心的思想是通过多任务的思路，建模特征之间的特定联系，从而提升CTR预估的效果。同时感觉将召回阶段的方法和精排阶段用到的方法融合到一个网络结构中，一起来学习一下。

提出DeepMCP模型通过匹配、关联、预测三个子模块更好地建模用户-ad，ad之间以及特征-CTR关系，效果优于DeepFM并开源了代码。

如何精确推荐一屏物品-阿里KDD2019发表

《Exact-K Recommendation via Maximal Clique Optimization》

之前介绍的推荐模型，大都是Top-K推荐的。这么做比较简单，但是忽略了推荐物品之间的内在联系。这篇论文它能够综合考虑生成一个包含k个item的最优化集合。文中采取的思路是，首先通过监督学习的方式对网络参数进行一定的预训练，然后再通过策略梯度的方式进一步修正网络参数。使用监督学习文中称作Learning from Demonstrations，使用强化学习称作Learning from Rewards.

大型推荐系统中的深度序列匹配模型SDM-阿里

《SDM: Sequential Deep Matching Model for Online Large-scale Recommender System》

目前在淘宝的召回模型中，基本上采用的模型的基础是基于物品的协同过滤模型。但是协同过滤模型只能考虑用户的静态兴趣，而不能捕获用户的动态兴趣。这些兴趣主要通过用户的行为来体现。

在淘宝的场景中，用户的行为主要分为两种，第一个是当前的浏览session，用户在一个session中，需求往往是十分明确的，比如你想买球鞋，往往只会关注球鞋类的商品。另一个是之前的记录，一个用户虽然可能不是每次都来买球鞋，但是也可能提供一定的有用信息，比如用户只买阿迪的鞋子或者只买帆布鞋等等。因此分别建模这两种行为序列来刻画用户的兴趣，是十分有用的。

接下来，我们就来学习下如何分别刻画用户的两种行为序列，以及如何将二者融合，并最后进行物品召回的。

对于长期行为，主要关注的点在于通过长期行为来从不同角度来刻画用户的兴趣，比如用户经常逛某种类型的店铺、经常复购同一类型的商品等等。因此把长期行为中的所有物品对应的属性集合划分为不同的set，如物品IDset、物品店铺set、物品品类set等等。并非将长短期兴趣向量直接拼接，而是借鉴了LSTM或GRU中的门的概念，对短期兴趣向量和长期兴趣向量进行一个加权，过程如下：

 

一种消除CTR预估中位置偏置的框架-华为2019

《PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems》

解决推荐、广告中的position-bias问题（训练的时候知道位置信息，预估的时候不知道）。文章将广告被点击的概率分为两个因素：广告被用户看到的概率和用户看到广告后点击广告的概率。进一步假设用户看到广告后点击广告的概率与广告的位置无关。因此建模成两个模块：

广告被看到的概率预估模型和用户看到广告后，点击的概率预估模型。同时在线上servering的时候，只需要预估第二个模型（不需要位置信息）。