推荐系统的相关知识点介绍

在男耕女织的农业时代，人们以“个性化”的模式生产“个性化”的产品；在流水线模式的工业化时代，人们以“规模化”的模式生产“标准化”的产品；而在互联网和智能制造业不断发展的今天，人们以“规模化”的模式生产“个性化”的产品，极大地丰富了商品种类。在此情况下，用户的注意力和消费力变成极为匮乏的资源。如何从海量的产品和服务中选择自己需要的，成为用户第一关心的事，这就是推荐系统的价值所在。

1：推荐系统的基本概念
构建推荐系统本质上是要解决“5W”的问题，即向谁（who）在什么时间（when）在什么地方（where)推荐什么内容（what）并解释为什么推荐（why）

2:常见的推荐算法
（1）协同过滤推荐算法（Collaborative Filtering Recommendation）:该算法的核心是分析用户的兴趣和行为，利用具有共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。

• 基于用户的协同过滤：根据用户的历史喜好，分析出具有相似兴趣的人，然后给用户推荐其他人喜欢的物品。比如小甲和小乙都对物品A和B给了十分好评，那么可以认为小甲和小乙具有相似的兴趣爱好，如果小乙对物品C给予十分好评，那么就可以把物品C推荐给小甲，可理解为“人以类聚”。
• 基于物品的协同过滤：根据用户的历史喜好，分析出具有相似的物品，然后给用户推荐相似的物品。如小甲对物品A、B、C给了十分好评，小乙对物品A、C给了十分好评，从这些用户的喜好中分析出喜欢A的人都喜欢C，物品A、C是相似的，如果小丙给了A好评，那么可以把C也推荐给小丙，可简单理解为“物以群分”。

（2）基于内容过滤推荐（Content-based Filtering Recommendation）:计算两个物品的相似度，根据用户的历史的喜好，推荐给用户相似的物品。

（3）组合推荐（Hybrid Recommendation）:以上算法各有优缺点，比如基于内容的过滤推荐是基于物品进行建模，在系统启动初期往往有较号的推荐效果，但是没有考虑用户群体的关联属性；协同过滤推荐算法考虑了用户群体的关联属性，可以推荐内容上不相似的新物品，发现用户潜在的兴趣偏好，但是这要依赖足够多且准确的用户历史信息。因此实际使用中往往采用多种推荐算法进行组合。具体选用那种和应用场景有很大的关系。

3：工业实践中的推荐系统
在实际应用中，验证一个推荐系统的好坏，除了预测准确度，还需要考虑多方面的因素，比如多样性、新颖性，甚至商业目标匹配度等。要实践一个好的推荐系统，值得更深入的探索研究。下面将工业实践推荐系统还需要考虑的主要问题概要性的介绍。

(1)推荐来源：推荐来源会更加多样化，除了使用深度学习模型的方式，还大量使用标签匹配的个性化推荐方式。此外，推荐热门的内容，具有时效性的内容和一定探索性的内容，都非常关键。对于新闻类的内容推荐，用户不希望地球人都在谈论的大事自己毫无所知，期望更快更全面的了解。如果用户经常使用的推荐产品总推荐“老三样”，会使得用户丧失“新鲜感”而流失。因此，除了推荐一些用户喜欢的内容之外，谨慎的推荐一些用户没表达过喜欢的内容，可探索用户更广泛的兴趣领域，以便有更多不重复的内容可以向用户推荐。
(2)检索系统：将推荐系统构建成“召回+排序”架构的高性能检索系统，以更短的特征向量建倒排索引。在“召回＋排序”的架构下，通常会训练出两种不同长度的特征向量，使用较短的特征向量做召回系统，从海量候选中筛选出几十个可能候选。使用较短的向量做召回，性能高但不够准确，然后使用较长的特征向量做几十个候选的精细排序，因为待排序的候选很少，所以性能低一些也影响不大。

(3)冷启动问题：现实中推荐系统往往要在产品运营的初期一起上线，但这时候系统尚没有用户行为数据的积累。这时，我们往往建立一套专家经验的规则系统，比如一个在美妆行业工作的店小二对各类女性化妆品偏好是非常了解的。通过规则系统运行一段时间积累数据后，再逐渐转向机器学习的系统。很多推荐系统也会主动向用户收集一些信息，比如大家注册一些资讯类APP时，经常会要求选择一些兴趣标签。

(4)推荐系统的评估：推荐系统的评估不仅是计算模型Loss所能代表的，是使用推荐系统用户的综合体验。除了采用更多代表不同体验的评估指标外（准确率、召回率、覆盖率、多样性等），还会从两个方面收集数据做分析：

（1）行为日志：如用户对推荐内容的点击率，阅读市场，发表评论，甚至消费行为等。
（2）人工评估：选取不同的具有代表性的评估员，从兴趣相关度、内容质量、多样性、时效性等多个维度评估。如果评估员就是用户，通常是以问卷调研的方式下发和收集。

其中，多样性的指标是针对探索性目标的。而推荐的覆盖度也很重要，代表了所有的内容有多少能够被推荐系统送到用户面前。如果推荐每次只集中在少量的内容，大部分内容无法获得用户流量的话，会影响系统内容生态的健康。比如电商平台如果只推荐少量大商家的产品给用户，多数小商家无法获得购物流量，会导致平台上的商家集中度越来越高，生态不再繁荣稳定。

从上述几点可见，搭建一套实用的推荐系统，不只是一个有效的推荐模型。要从业务的需求场景出发，构建完整的推荐系统，最后再实现模型的部分。如果技术人员的视野只局限于模型本身，是无法在工业实践中搭建一套有业务价值的推荐系统的。