推荐系统在公司中算法

深度学习在CTR预估领域已经有了广泛的应用，常见的算法比如Wide&Deep，DeepFM等。这些方法一般的思路是：通过Embedding层，将高维离散特征转换为固定长度的连续特征，然后通过多个全联接层，最后通过一个sigmoid函数转化为0-1值，代表点击的概率。即Sparse Features -> Embedding Vector -> MLPs -> Sigmoid -> Output.

这种方法的优点在于：通过神经网络可以拟合高阶的非线性关系，同时减少了人工特征的工作量。

MLR算法-阿里

适合于工业级的大规模稀疏数据场景问题，如广告CTR预估。创新地提出并实现了直接在原始空间学习特征之间的非线性关系,对LR的一个自然推广，背后的优势体现在两个方面：
端到端的非线性学习：从模型端自动挖掘数据中蕴藏的非线性模式，省去了大量的人工特征设计
稀疏性：MLR在建模时引入了L1和L2,1范数正则，可以使得最终训练出来的模型具有较高的稀疏

DIN（Deep Interest Network)-阿里

用户行为数据中有两个很重要的特性：这两种特性是密不可分的。离现在越近的行为，越能反映你当前的兴趣。

Diversity：兴趣多样性
Local activation: 只有部分历史数据会影响点击
Attention机制：针对不同的广告，用户历史行为与该广告的权重是不同的。PRelu/DICE激活函数、自适应正则

ESSM-阿里

该模型主要解决的是CVR预估中的两个主要问题：样本选择偏差和稀疏数据。
样本选择偏差：这种训练样本从整体样本空间的一个较小子集中提取，而训练得到的模型却需要对整个样本空间中的样本做推断预测的现象称之为样本选择偏差。

数据稀疏：用户点击过的物品只占整个样本空间的很小一部分，使得模型训练十分困难。

阿里妈妈的算法同学提出的ESMM模型借鉴了多任务学习的思路，引入了两个辅助的学习任务，分别用来拟合pCTR和pCTCVR，从而同时消除了上文提到的两个挑战。ESMM模型能够充分利用用户行为的顺序性模式。

强化学习方法DRN-京东

在《DRN:A Deep Reinforcement Learning Framework for News Recommendation》提出了一种基于强化学习的新闻推荐模型，

问题及解决方案 通过强化学习来进行 List-wise 的推荐。
本文提出的方法主要针对三个问题：
1、使用DQN来建模用户兴趣的动态变化性
2、推荐算法通常只考虑用户的点击／未点击 或者 用户的评分作为反馈，本文将用户活跃度作为一种反馈信息。
3、目前的推荐系统倾向于推荐用户重复或相似内容的东西，本文使用Dueling Bandit Gradient Descent方法来进行有效的探索。