推荐系统介绍

1 推荐系统背景

近年来，推荐系统被广泛地应用于电子商务推荐、个性化广告推荐、新闻推荐、APP应用分发等诸多领域。

2 推荐系统原理

大数据时代，如何让用户更快地找到想要的数据，如何让用户发现自己潜在的兴趣和需求，这对于互联化的社会至关重要。因此，推荐系统受到了广泛关注。

推荐引擎与传统搜索引擎不一样的地方就是，用户其实并不清楚自己的需求，或者他们的需求很难用简单的关键词来表述，又或者他们需要更加符合自身口味和喜好的结果，因此就出现了基于用户需求、口味、喜好的信息发现机制的推荐系统。

构成推荐系统的主要元素有：

• 物品集合：要推荐的物品或内容，例如商品、音乐、广告等。
• 用户：用户的基本信息、用户的行为、用户的兴趣爱好等。
• 场景：用户所处的环境，例如，网络环境、什么时间正在做什么等。
• 推荐引擎：根据用户对物品或者信息的偏好（包括用户对物品的评分、用户查看物品的记录等）与用户的画像数据进行拟合，学习得到什么样的用户会喜欢什么样的物品这样一个模型。
• 推荐结果集：一个推荐结果或者一个推荐结果的排序集合。

其中，推荐引擎包含三个重要模块：

• 召回模块：根据用户和场景特征，从物品列表（上百万个物品）中挑选用户可能感兴趣的物品，通过多种召回方法进行组合召回，最终得到用户的候选物品集。在召回模块中，一般使用简单的特征进行快速查询，比如，根据用户最近点击的物品召回相似物品、根据用户兴趣类目召回物品等。
• 排序模块：针对召回模块的候选物品进行精排，根据用户的标签特征、物品的特征以及交叉组合特征，通过排序模型计算，得到用户对候选物品集的评分。排序模块使用的特征比召回模块复杂，目的是计算用户精确的预测值。
• 后排模块：后排也就是后置排序，在得到用户对候选物品集的评分结果后，如果不进行后排，将会按照评分从高到低下发给用户进行展示（不合适）。这里通常需要对排序列表进行调整，比如运营干预、优先级调权、指定下发规则等。

3 相关算法

3.1 召回模型的常见算法

• 基于内容相似（挖掘相似的物品）：Word2vec，LDA，FastText，LSF-SCNN，LSTM；
• 基于行为相似（挖掘相似用户或行为的物品）：ItemCF，UserCF，关联规则；
• 深度学习：DNN

3.2 排序模型的常见算法

• 线性模型：LR（逻辑回归），FM，特征交叉+LR/FM
• 树模型（可以自动特征交叉）：决策树、随机森林、GBDT、XGBoost、GBDT+LR
• 集成学习：树类型集成学习、GCForest
• 非线性模型（记忆与泛化）：DNN、Wide&Deep、FNN、PNN、DeepFM、NFM、AFM、DCN、DIN