推荐系统简介

推荐系统存在的前提
（1）信息过载；（2）用户需求不明确

推荐系统的目标
连接用户和物品，发现长尾商品；留住用户和内容生产者，实现商业目标

推荐系统的应用领域
新闻资讯推荐；短视频推荐；商品推荐

推荐系统的评估
用户——满足需求
内容提供方——获取长尾流量，获得互动和认可
网站——留住用户，实现商业目标

评估指标

准确性；满意度；覆盖率；多样性；新颖性；惊喜度；信任度；实时性；鲁棒性；可扩展性；商业目标；用户留存
【A】准确性
评分预测
TopN
【B】覆盖度
覆盖率
信息熵
基尼系数
分层流量占比
【C】多样性、新颖性、惊喜性
（1）tradeoff：Exploitation&Exploration问题
（2）解决方法：Multi-armed bandit problem(MAB)
（3）算法-原理：
Epsilon-Greedy
Upper Confidence Bound
Thompson Sampling
（4）Bandit算法-应用：
[a]兴趣探索：兴趣就是老虎机(衣服/鞋等100个类目就是100个老虎机)，给用户推老虎机收益最高的(收益最高指的是点击购买等可量化的目标)。
[b]冷启动探索：新用户来了，不知道喜欢哪个类目；类似不知道哪个老虎机收益最高。
[c]LinUCB：UCB是只和item本身相关、和user不相关，以下两个UCB变种考虑了user的信息。由于探索是个性化的回报率，所以加入一些user和item的特征做收益率预估，再做探索。
[d]COFIBA：Bandit结合CF
（5）EE实践：
兴趣扩展：相似话题、搭配推荐
人群算法：userCF、相关性不是那么强的用户聚类扩展
Bandit算法
Graph Walking：在图上的随机算法
平衡个性化推荐和热门推荐比例
随机丢弃用户行为历史
随机扰动模型参数

评估方法

工业实践：“离线评估”与“在线评估”结合，定期“问卷调查”
（1）问卷调查
（2）离线评估
用户看过，跟线上效果有偏差
只能评很少指标，如准确率
速度快，不伤害用户体验
（3）在线评估
A/B test：支持样本少，不同策略实验(不同实验参数)不独立，分流方式不灵活。
多层重叠实验框架：把实验参数划分到N个子集，每个子集关联到一个实验层里，每个请求会被N个实验处理；同一个实验参数不能出现在多个层里。
《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》Google@KDD2010

推荐系统架构

match-rank-re-rank
candidate generation-ranking
召回阶段：通过i2i/u2i/u2u/user profile等方式”粗糙“地召回候选物品，数量一般在百万级别。
排序阶段：对召回后的物品采用更精细的特征计算user-item之间的排序分，作为最终输出排序结果的依据。

推荐系统发展阶段

关联规则：热门推荐、统计方法
矩阵分解：机器学习方法、离线计算推荐列表(相似偏好列表)
召回+learning to rank重排序：offline为主+nearline
召回&排序实时化
end2end深度学习，一切皆embedding
智能化推荐系统

《Item-Based Collaborative Filtering Recommendation Algorithms》
《Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model》
《Matrix factorization techniques for recommender systems》
• https://zhuanlan.zhihu.com/p/21740678
• https://www.kdd.org/kdd2018/accepted-papers/view/real-time-personalization-using-embeddings-for-search-ranking-at-airbnb
• 《Deep Neural Networks for YouTube Recommendations》 • 《Wide & Deep Learning for Recommender Systems》
• 《Ad Click Prediction: a View from the Trenches》

推荐系统有3个重要的模块

• 用户建模模块
• 推荐对象建模模块
• 推荐算法模块
  通用的推荐系统模型流程如下图所示。推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配，同时使用相应的推荐算法进行计算筛选，找到用户可能感兴趣的推荐对象，然后推荐给用户。
  

推荐算法基本包括以下几种

• 基于内容的推荐
  基于用户画像特征数据、物品内容画像特征数据和历史偏好对用户建模，用建好的模型对新来物品内容画像特征数据预测、推荐。
• 近邻算法推荐(协同过滤)
  基于 UserCF(基于用户的协同过滤)，找到偏好相似的用户，将相似用户偏好的物品推荐给用户；基于ItemCF(基于物品的协同过滤)，找到与用户当前偏好书籍相似的其他书籍，推荐给用户。
• 基于关联规则的推荐
• 基于矩阵分解的推荐(隐语义模型)
  根据用户的当前偏好信息，得到用户的兴趣偏好，将该类兴趣对应的物品推荐给当前用户。
  
• 基于社交关系的推荐
• 组合信息推荐(混合神经网络)