推荐系统简介

Why - 推荐系统出现的目的/原因
推荐系统出现前出现的问题
在推荐系统没有出现之前，用户在网上检索自己需要的信息时，需要经过筛选很多无用的信息；服务端因为不能个性化的推送用户需要的信息，导致网站点击率，转化率，成交率，粘性过低，
推荐系统解决的问题
针对以上问题，提出了推荐系统的概念，推荐系统的最终目的就是如下：
1.提供信息：找到用户需要的物品，新闻，文章等信息
2.过滤信息：过滤掉用户偏好度比较低的信息，尽量提供有效的信息
3.提高网站转化率：推荐给用户更想要的内容，提高用户黏性和转化率
4.加深用户了解：通过用户历史数据，构建用户画像，从而提供更好的个性化服务
推荐系统面临的问题
1.用户偏好提取：如何从海量的用户数据中有效提取用户的偏好，并构建准确的用户画像。
2.物品特征提取：如何从众多物品中提取关键特征，构建物品画像。
3.相似性匹配：如何基于用户画像找到相似用户群体，或者根据物品画像找到相似物品集合。
4.推荐算法选择：如何运用合适的算法和模型，结合用户偏好和物品特征，为用户提供个性化推荐。相关算法如下：每种算法都有其优势和局限性，需要根据具体场景选择或设计算法
a.协同过滤：利用有相似行为的人 偏好也相同特性
b.基于内容推荐：根据用户过去的喜爱推荐相似物品
c.基于知识推荐：认为物品有额外的属性（比如评分，地域，类别等），根据属性限制推荐
d.混合推荐系统等：构建基于以上三种推荐系统的混合系统，结合不同推荐算法和模型的优点，屏蔽其中的缺点
5.推荐算法的可解释性：很多算法由于太过复杂或者是多种推荐算法混合而成，导致推荐的数据无法很好的解释。尤其是深度学习等复杂模型，其内部工作机制往往是“黑箱”的，难以解释。
6.推荐算法的验证性/效率问题：推荐算法召回的数据本身不是很好评估优劣。
7.冷启动问题：对于新的用户/商品，由于缺少足够的数据，推荐系统难以做出合适的推荐
8.多样性和新颖性：推荐系统有可能因为用户本身产生的历史数据和本身算法问题导致推送给用户总是相似的东西，容易进入信息茧房。需要注意这一点
How - 构建推荐系统的计划
如果把推荐系统简单拆开来看，推荐系统主要是由数据、算法、架构三个方面组成。
1.数据：包括用户与内容的属性，用户的行为偏好例如对新闻的点击、玩过的英雄、购买的物品等等。这些数据特征非常关键，甚至可以说它们决定了一个算法的上限。
2.算法：数据通过不断的积累，存储了巨量的信息。在巨大的数据量与数据维度下，人已经无法通过人工策略进行分析干预，因此需要基于一套复杂的信息处理逻辑，基于逻辑返回推荐的内容或服务。
3.架构：架构保证整个推荐自动化、实时性的运行。架构包含了接收用户请求，收集、处理，存储用户数据，推荐算法计算，返回推荐结果等。有了架构之后算法不再依赖于手动计算，可以进行实时化、自动化的运行。例如在淘宝推荐中，对于数据实时性的处理，就保证了用户在点击一个物品后，后续返回的推荐结果就可以立刻根据该点击而改变。一个推荐系统的实时性要求越高、访问量越大那么这个推荐系统的架构就会越复杂。
整体的推荐系统架构大致如下：

1.协议调度：请求的发送和结果的回传。在请 求中，用户会发送自己的 ID，地理位置等信息。结果回传中会返回推荐系统推荐的结果。（推荐系统不关注）
2.推荐算法：算法按照一定的逻辑为用户产生最终的推荐结果。不同的推荐算法基于不同的逻辑与数据运算过程。
3.存储单元：不同的数据类型和用途会存储到不同的存储单元中，比如说内容标签存储到Mysql中，实时数据存储到Redis中等
4.数据处理和优化层：有时因为存储单元中的数据太多，算法直接查询会导致效率太低。因此，这一层会涉及到数据的预处理、特征工程、索引构建等工作，以提高数据检索和算法执行的效率。
推荐算法
推荐算法其实本质上是一种信息处理逻辑，当获取了用户与内容的信息之后，按照一定的逻辑处理信息后，产生推荐结果。热度排行榜就是最简单的一种推荐方法，它依赖的逻辑就是当一个内容被大多数用户喜欢，那大概率其他用户也会喜欢。但是基于粗放的推荐往往会不够精确，想要挖掘用户个性化的，小众化的兴趣，需要制定复杂的规则运算逻辑，并由机器完成。
推荐算法主要分为以下几步：
1.召回（Recall）：当用户以及内容量比较大的时候，往往先通过召回策略，将百万量级的内容先缩小到百量级。
a.在这一步，目标是从整个物品集合中快速筛选出一个较小的候选物品集合。协同过滤（尤其是基于用户或基于物品的方法），内容和知识过滤可以用于这一步骤，因为它们能够根据用户的历史行为或物品的内容特征来识别潜在相关的物品。
2.粗排（Coarse Ranking）：召回阶段后，可能会有一个粗排（或者称为粗筛、粗排序）阶段，这一阶段的目的是进一步缩小候选集。粗排通常使用相对简单的模型或启发式规则，快速地对召回的结果进行一次初步排序，以减少后续精排阶段需要处理的数据量。
a.粗排进一步缩小候选物品集合的规模，并对物品进行初步排序。这一步骤可以使用更复杂的协同过滤模型，如矩阵分解或深度学习方法，以及基于内容的特征来提供一个粗略的排名。
3.过滤（Filtering）：对于内容不可重复消费的领域，例如实时性比较强的新闻等，在用户已经曝光和点击后不会再推送到用户面前。
4.精排（Fine Ranking：对于召回并过滤后的内容进行排序，将百量级的内容并按照顺序推送。
a.精排步骤使用更为精细的模型来对候选物品进行最终排序。这些模型可能会综合使用多种特征，包括用户的行为数据、物品的属性、上下文信息等。协同过滤和内容过滤的高级版本，如基于模型的方法和混合推荐系统，可以在这一步骤中发挥作用。
5.混排（Re-ranking）：为避免内容越推越窄，将精排后的推荐结果进行一定修改，例如控制某一类型的频次。
6.强规则（Post-ranking Rules）：根据业务规则进行修改，例如在活动时将某些文章置顶。
召回策略
召回的目的：当用户与内容的量级比较大，例如对百万量级的用户与内容计算概率，就会产生百万*百万量级的计算量。但同时，大量内容中真正的精品只是少数，对所有内容进行一次计算将非常的低效，会浪费大量的资源和时间。因此采用召回策略，例如热销召回，召回一段时间内最热门的 100 个内容，只需进行一次计算动作，就可以对所有用户应用。
召回的重要性：虽然精排模型一直是优化的重点，但召回模型也非常的重要，因为如果召回的内容不对，怎么精排都是错误的。
召回方法：召回的策略不应该是简单的策略堆砌，而应该是方法的相互补充。
1.热销召回：将一段时间内的热门内容召回。
2.协同召回：基于用户与用户行为的相似性推荐，可以很好的突破一定的限制，发现用户潜在的兴趣偏好。
3.标签召回：根据每个用户的行为，构建标签，并根据标签召回内容。
4.时间召回：将一段时间内最新的内容召回，在新闻视频等有时效性的领域常用。是常见的几种召回方法
粗排策略
粗排（Coarse Ranking）的主要目的：在召回阶段后快速缩小候选集，为精排阶段减轻负担，从而提高整个推荐系统的效率和效果。在这个阶段，通常会使用简单且高效的模型或规则，以便快速处理大量的数据。以下是一些常用于粗排阶段的算法和方法的例子：
1.逻辑回归（Logistic Regression）：逻辑回归是一个简单且经典的二分类模型，可以根据用户和物品的特征来预测用户对物品的兴趣程度。由于其计算效率较高，逻辑回归适合用于粗排阶段。
2.基于规则的方法：可以根据业务逻辑和经验制定一些简单的规则，比如优先推荐新发布的内容、热门内容或用户历史行为中评分较高的内容等。
3.浅层神经网络（Shallow Neural Networks）：相对于深度学习模型，浅层的神经网络结构简单，参数少，计算速度快，可以用来处理大量的数据。
4.决策树（Decision Trees）：决策树是一种非线性模型，可以处理复杂的特征交互，但相比于深层模型，其结构较为简单，适合用于粗排阶段。
5.基于向量的相似度计算：通过内容嵌入（embedding）将用户和物品映射到低维空间中，然后计算它们之间的相似度（如余弦相似度），选择相似度高的物品作为候选。
6.多臂老虎机（Multi-armed Bandit）：这种算法通过不断地尝试和学习来平衡探索（explore）和利用（exploit），可以用来选择潜在的高回报物品。
在实际应用中，粗排阶段可能会使用多个模型或方法的组合，以达到更好的筛选效果。此外，因为粗排是为了精排减负，所以这个阶段会考虑计算资源和响应时间的限制，
过滤策略
过滤（Filtering）阶段在推荐系统中扮演着重要的角色，它的目的是移除那些不适合再次推荐给用户的内容。这一步骤对于维护用户体验和提高推荐质量至关重要。以下是过滤阶段的一些常见任务和方法：
1.历史交互过滤：推荐系统会记录用户历史交互数据，包括点击/浏览/购买等行为。对于那些用户已经交互过的内容，尤其是不可重复消费的内容（比如新闻/视频等），系统会将其过滤以避免重复推荐。
2.时间敏感性过滤：对于一些时效性强的内容如新闻/活动信息等，推荐系统会根据内容的发布时间和有效期限进行过滤，确保推荐的内容是最新和相关的。
3.用户偏好过滤：基于用户的偏好和兴趣标签，系统会过滤掉那些与用户偏好不匹配的内容。例如，如果用户对某个主题表现出不感兴趣，那么系统将减少或不再推荐该主题的内容。
4.内容质量过滤：推荐系统会根据内容的质量指标（如评分、评论、用户反馈等）来过滤掉低质量的内容。
5.业务规则过滤：根据业务需求和规则，推荐系统可能会过滤掉一些特定的内容。例如，对于未成年用户，系统会过滤掉成人内容；对于特定地区的用户，系统会过滤掉不符合当地法规的内容。
6.多样性和新颖性过滤：为了提高推荐结果的多样性和新颖性，系统可能会过滤掉那些与用户历史上浏览过的内容过于相似的候选项。
7.隐私和敏感信息过滤：推荐系统需要遵守隐私保护规则，因此会过滤掉可能泄露用户隐私或包含敏感信息的内容。
8.异常值和噪声过滤：系统会通过一些数据清洗手段来过滤掉异常值和噪声数据，以提高推荐结果的准确性。
a.阈值法：设定一些阈值来识别异常值。例如，在用户评分数据中，如果一个用户在很短的时间内对大量内容给出了极端的高分或低分，这些评分可能就是异常值。
b.统计方法：使用统计测试来识别异常值。例如，可以计算数据的均值和标准差，然后将那些超过均值几个标准差的数据点标记为异常值。
c.基于模型的方法：使用机器学习模型来识别异常值。
过滤阶段通常会结合多种方法和规则来实现，这些方法和规则可以是静态的（事先定义好的），也可以是动态的（根据实时数据和用户反馈调整）。过滤不仅有助于提升用户体验，还能提高系统效率，因为它减少了后续处理阶段需要考虑的候选项数量。
精排策略
精排模型的不同类别：

精排模型的基本原理：
1.基于内容属性的相似性推荐：根据内容的相似性，比如标题，标签，正文相似性进行推荐
2.基于用户行为的协同过滤：
a.基于用户的协同过滤：根据用户过去的行为判断用户之间的相似性，推荐相似用户喜欢的内容
b.基于内容的协同过滤：根据用户过去的行为判断内容之间的相似性，推荐相似的内容
3.分类模型：
a.逻辑回归：将点击率作为Y变量，预测用户对于每一个内容0-1之间的点击率
b.因子分解机（Factorization Machines）FM：广泛用于推荐系统、评分预测和其他多种特征丰富的学习任务的算法。FM 被设计用来处理高维稀疏数据集，特别是那些存在于用户-物品交互矩阵中的数据集。
c.树模型：是一类基于决策树（Decision Tree）的算法，用于解决分类和回归问题。决策树是一种非线性的预测模型，它通过一系列的问题将数据集分割成不同的子集，最终在叶节点上得到预测结果。每个问题都是关于特征的简单测试，用于将数据集分成两个或多个分支。
d.深度学习：略
混排
混排（Blending）：一种将不同推荐策略或算法生成的推荐结果混合起来，以提供一个综合的、多样化的推荐列表给用户的技术。混排的目标是利用不同推荐方法的优势，同时弥补它们的不足，从而提高整体的推荐质量和用户满意度。
1.规则基础的混排：设定一些业务规则或启发式规则来决定如何混合不同的推荐列表。例如，可以根据时间、地点、用户群体或其他上下文信息来调整推荐内容的权重。
2.加权混合：对不同推荐算法的结果进行加权混合，权重可以基于算法的历史表现、实验结果或其他评估指标来确定。
3.交替混合：按照一定的顺序或比例交替地从不同的推荐列表中选取推荐项，例如，从推荐列表A中取一个，然后从推荐列表B中取一个，依此类推。
4.基于模型的混排：使用机器学习模型来学习如何结合不同的推荐列表。模型可以根据用户的行为数据、推荐项的特性或其他信号来优化混合策略。
5.多臂老虎机（Multi-Armed Bandit）：使用多臂老虎机算法来动态调整不同推荐策略的探索（尝试新策略）和利用（使用已知最佳策略）的平衡，以实现长期的最优化。
6.多样性和新颖性增强：在混排过程中，特别注意增加推荐列表的多样性和新颖性，以避免用户感到厌倦，并激发他们的兴趣。
混排的应用可以提高推荐系统的鲁棒性，并且能够更好地满足用户的多样化需求。然而，混排策略的设计和优化通常需要大量的实验和调整，以确保不同推荐源的有效整合，并且需要持续监控推荐效果，以便及时调整策略。
鲁棒性：
指系统、模型或算法在面对各种挑战、变化或不确定性条件下仍能保持其性能不受显著影响的能力。在不同的领域，鲁棒性可能有不同的含义，但核心概念是稳定性和可靠性。
在推荐系统中，鲁棒性通常指的是系统能够处理和适应以下情况的能力：
1.数据噪声：推荐系统能够处理不准确或错误的数据输入，而不会导致性能显著下降。
2.数据缺失：推荐系统能够应对数据缺失的情况，例如用户的评分记录不完整。
3.数据变化：推荐系统能够适应用户偏好或物品流行度的变化。
4.异常值：推荐系统能够识别并处理异常值或离群点，这些数据可能会扭曲推荐结果。
5.攻击和操纵：推荐系统能够抵御恶意用户或竞争对手的操纵尝试，例如通过虚假评分来提高或降低某些物品的推荐频率。
6.规模扩展：推荐系统能够处理用户和物品数量的增加，保持推荐质量和响应速度。
7.冷启动问题：推荐系统能够为新用户或新物品提供合理的推荐。
强规则
比如说广告插入到推荐列表的某个指定位置，或者是活动置顶等。通常指的是一些临时性的，强制性的，按照某种规则插入的规则。
常见推荐算法
推荐算法大致可以分为以下几种类型：
1.基于流行度的算法
2.协同过滤算法（collaborative filtering）
3.基于内容的算法
4.基于模型的算法
5.混合算法
6.基于知识的算法
以上的推荐算法可以根据不同的需求应用到推荐系统的不同步骤中，比如说基于以上算法可以在召回层面快速过滤筛选出较小的召回数据；粗排可以使用复杂的协同过滤模型，如矩阵分解或深度学习方法，以及基于内容的特征来提供一个粗略的排名；而精排使用更为精细的模型来对候选物品进行最终排序，这些模型可能会综合使用多种特征，包括用户的行为数据、物品的属性、上下文信息等。协同过滤和内容过滤的高级版本，如基于模型的方法和混合推荐系统，可以在这一步骤中发挥作用。
下述为常用算法的原理和示例：
基于流行度的算法
设计思路：
算法本身非常简单，直接根据内容的PV（Page View，访问量）和UV（Unique Visitor，独立访客）等数据进行热度排序推荐给用户
应用场景：
热歌榜，微博热搜，知乎热榜等
算法优缺点：
优点：
1.简单
2.适合新用户（冷启动）
缺点：
1.无法针对特定用户推荐个性化内容
协同过滤算法
协同过滤算法（Collaborative Filtering）在很多购物平台中都会用到。协同过滤算法有两种类型，分别是基于用户（User）和基于物品（Item）的协同过滤算法。
基于用户的过滤算法设计思路：
根据用户对物品的评价构建出一个用户和物品的关联矩阵，然后利用余弦相似度算法，计算出用户与用户之间的相似矩阵，构建用户相似矩阵如下：
物品1物品2物品3物品4物品5用户1534用户2434用户3124用户4235
1.分析用户数据：获得每个用户对各个物品的评价或喜爱程度（可通过浏览、收藏和购买等记录来计算）。
2.计算相似度：依据用户对物品的评价计算出所有用户之间的相似度。（也就是利用用户对所有物品的评价来形容用户）
3.推荐数据：选出与用户相似度最高的K名用户评价的物品，并且去掉该用户已经评价过的物品，最后按照评价大小进行排序，推荐出 N 个物品（设 N=2）给该用户。
基于物品的过滤算法设计思路：
1.分析用户数据：与基于用户的算法一样，获得获得每个用户对各个物品的评价或喜爱程度。
2.计算物品相似度：依据用户对物品的评价计算出所有物品之间的相似度。（也就是用所有用户对物品的评价来形容物品）
3.推荐数据：找到该用户评价最高的物品。然后找到与该物品相似度最高且该用户未有评价过的 N（设 N=2）个物品，将其推荐给该用户。
基于用户的协同过滤举例说明：
第一步：分析用户数据：通过用户对物品的评价构建出一个用户和物品的关联矩阵
物品1物品2物品3物品4物品5用户1534用户2434用户3124用户4235
第二步：计算所有用户之间的相似度：这里使用余弦相似度公式计算用户相似矩阵：

用户相似矩阵如下：
用户1用户2用户3用户4用户110.9940.7420.000用户20.99410.7200.000用户30.7420.72010.308用户40.0000.0000.3081
第三步：对于当前用户评价高的物品，找出与之相似度最高的 N 个物品。
假设是用户3请求了一个数据，则用户3与用户1相似度最高，定位到用户1的评价最高的且用户3没用过的物品5，返回推荐给用户3
基于物品的协同过滤举例说明：
基本与基于用户的协同过滤一致，只是在第二步会构建，物体之间的相似矩阵，然后通过用户3的评价高的物品3，定位到与物品三相似度最高的物品返回。
协同过滤的优缺点：
优点：
1.非常直观，可解释性高
2.效果非常好
3.简单易懂
缺点：
1.依赖于准确的用户评分
2.大热的物品有更大几率被推荐给用户
3.冷启动问题：一个新用户/新物品进入系统，推荐系统无从依据
4.矩阵稀疏问题：在一些物品存在周期短（如新闻，广告）的系统中，因为更新速度快，导致很多物品不会有评价，导致用户和物品的关联矩阵十分稀疏（某个物品用户评价越少，被推荐到前面的概率越低）：
a.改进方案：如通过 矩阵分解算法（如隐语义模型：LFM），可以把nm矩阵分解成一个nk的矩阵乘以一个km矩阵（这里n是用户数，m是物品数，k需要预先定义，可视为用户特征和物品特征之间的一些潜在关联，所以可以填补之前关联矩阵的缺失值（实质：相当于降维，将纬度高，稀疏的数据将成纬度低，稠密的数据））
基于内容的算法
基本概念：给用户推荐和之前喜欢过的物品相似的物品。
1.分析用户数据：基于用户的历史喜好数据，基于这些数据构建用户喜好特征向量（特征包括电影的类型，演员，文章的主题，风格等）。
2.文本向量化：一个文本进入数据库后，系统分析该文本含有哪些关键词，将文本向量化（比如说通过词袋模型，TF-IDF等算法）
3.计算相似度：计算用户喜好特征向量与物品特征向量之间的相似度。常用的相似度度量方法包括余弦相似度，皮尔逊相关系数、欧氏距离、杰卡德相似度等。
以上就是基于向量模型的内容推荐算法，可能会产生以下问题：
1.由于词汇表（所有的关键词组成一个词汇表）越来越多，导致一个文本向量化后的数据越来越大，计算量越来越多，产生性能问题，
2.词汇表太过细分导致本来相似度很高的文本计算后相似度为0（要是用户的关键词是足球，而新闻的关键词是世界杯、英超，那么按照上面方法计算出的相似度为 0）
据此我们可以引入主题聚类（多个关键词聚合成一个主题，最后使用主题代替关键词进行向量化，比如说用足球代替世界杯、英超），以解决上述问题
基于知识的算法
推荐结果依赖用户需求与产品之间相似度的形式，或者是根据明确的推荐规则。基于知识的推荐系统的两种基本类型是：基于约束的推荐和基于实例的推荐。这两种方法的不同之处在于：如何使用所提供的知识。
1.基于约束的推荐：一般可以表示为由约束求解器解决的约束满足问题，或者是通过数据库引擎执行并解决的合取查询形式。
a.这种推荐系统主要依赖于用户提出的具体、明确的需求或条件（约束）。
b.系统中的推荐逻辑是基于规则的，即它会检查产品是否满足所有用户指定的约束条件。
c.如果一个产品满足了所有的约束条件，那么它就会被推荐给用户。
d.这种方法适用于那些用户需求非常具体的场景，比如在房地产网站上寻找满足特定价格、位置、房间数量等条件的房屋。
2.基于实例的推荐：主要利用相似度衡量标准从目录中检索物品。
a.这种推荐系统更加关注于找到与用户当前需求相似的历史案例。
b.相似度的计算不仅仅基于硬性的规则，而是考虑了产品或服务的多个维度，比如用户的评分、历史偏好、产品的特征等。
c.推荐的依据是找到与用户需求相似度最高的案例，而不是仅仅基于是否满足一系列固定的条件。
d.这种方法适用于那些用户需求不那么明确或者更加依赖于个人喜好和历史行为的场景，比如推荐电影、音乐或者餐厅。
What - 推荐系统的现象/成果
本节主要关注推荐系统实施后的具体输出和影响。这包括了推荐系统如何在实际环境中运行，它们为用户和企业带来了什么样的价值，以及它们如何改变了我们获取信息和做决策的方式。以下是这部分内容的详细讲解：
用户的反馈
推荐系统通常会收集用户对推荐内容的反馈，无论是显式的（如评分、喜欢/不喜欢、评论）还是隐式的（如点击、浏览时间、购买行为）。这些反馈会被用来进一步优化推荐算法，使其更加精准地满足用户的需求。
系统的性能指标
推荐系统的效果通常通过各种性能指标来评估，包括准确性（如准确率、召回率）、多样性、新颖性、覆盖率、信任度和透明度等。这些指标有助于了解推荐系统在不同维度上的表现。
推荐系统的应用案例
推荐系统已经被广泛应用于各个行业，从电子商务（如亚马逊、淘宝）、流媒体服务（如Netflix、Spotify）到社交网络（如Facebook、Twitter），再到新闻聚合和内容平台（如Flipboard、Medium）。在每个领域，推荐系统都在帮助用户发现内容，同时为企业带来更高的用户参与度和转化率。
遇到的挑战和改进
尽管推荐系统取得了很多成就，但它们也面临着挑战，比如如何处理冷启动问题、如何确保推荐的公平性和避免算法偏见，以及如何保护用户隐私。研究人员和开发者正在不断探索新的方法和技术来解决这些问题，并提高推荐系统的整体性能。

参考文档：
1.推荐算法入门知识：https://blog.csdn.net/sinat_39620217/article/details/129046810
2.Learning and Reasoning on Graph for Recommendation：http://staff.ustc.edu.cn/~hexn/slides/cikm19-tutorial-graph-rec.pdf
3.推荐系统详解：https://xie.infoq.cn/article/2f8d27822ecffc300b8771748