推荐系统Lambda架构介绍（三）：推荐算法、推荐模型构建流程、协同过滤推荐算法、相似度计算、使用协同过滤推荐算法对用户进行评分预测案例

1.3 推荐算法

学习目标

• 了解推荐模型构建流程
• 理解协同过滤原理
• 记忆相似度计算方法
• 应用杰卡德相似度实现简单协同过滤推荐案例

1 推荐模型构建流程

Data(数据)->Features(特征)->ML Algorithm(选择算法训练模型)->Prediction Output(预测输出)

• 数据清洗/数据处理

  • 数据来源
    • 显性数据
      • Rating 打分
      • Comments 评论/评价
    • 隐形数据
      • Order history 历史订单
      • Cart events 加购物车
      • Page views 页面浏览
      • Click-thru 点击
      • Search log 搜索记录
  • 数据量/数据能否满足要求

• 特征工程

  • 从数据中筛选特征

    • 一个给定的商品，可能被拥有类似品味或需求的用户购买

    • 使用用户行为数据描述商品

  • 用数据表示特征

    • 将所有用户行为合并在一起 ，形成一个user-item 矩阵

      
      

• 选择合适的算法

  • 协同过滤
  • 基于内容

• 产生推荐结果

  • 对推荐结果进行评估（评估方法后面章节介绍），评估通过后上线

2 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering）

算法思想：物以类聚，人以群分

基本的协同过滤推荐算法基于以下假设：

• “跟你喜好相似的人喜欢的东西你也很有可能喜欢” ：基于用户的协同过滤推荐（User-based CF）
• “跟你喜欢的东西相似的东西你也很有可能喜欢 ”：基于物品的协同过滤推荐（Item-based CF）

实现协同过滤推荐有以下几个步骤：

1. 找出最相似的人或物品：TOP-N相似的人或物品

   通过计算两两的相似度来进行排序，即可找出TOP-N相似的人或物品

2. 根据相似的人或物品产生推荐结果

   利用TOP-N结果生成初始推荐结果，然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品

以下是一个简单的示例，数据集相当于一个用户对物品的购买记录表：打勾表示用户对物品的有购买记录

• 关于相似度计算这里先用一个简单的思想：如有两个同学X和Y，X同学爱好[足球、篮球、乒乓球]，Y同学爱好[网球、足球、篮球、羽毛球]，可见他们的共同爱好有2个，那么他们的相似度可以用：2/3 * 2/4 = 1/3 ≈ 0.33 来表示。

  User-Based CF

  

  Item-Based CF

通过前面两个demo，相信大家应该已经对协同过滤推荐算法的设计与实现有了比较清晰的认识。

3 相似度计算(Similarity Calculation)

• 相似度的计算方法

  • 欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间

​ 欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用 如下转化公式:

• 余弦相似度

  • 度量的是两个向量之间的夹角, 用夹角的余弦值来度量相似的情况
  • 两个向量的夹角为0是,余弦值为1, 当夹角为90度是余弦值为0,为180度是余弦值为-1
  • 余弦相似度在度量文本相似度, 用户相似度 物品相似度的时候较为常用
  • 余弦相似度的特点, 与向量长度无关,余弦相似度计算要对向量长度归一化, 两个向量只要方向一致,无论程度强弱, 都可以视为’相似’

  
  

• 皮尔逊相关系数Pearson

  • 实际上也是余弦相似度, 不过先对向量做了中心化, 向量a b各自减去向量的均值后, 再计算余弦相似度
  • 皮尔逊相似度计算结果在-1,1之间 -1表示负相关, 1表示正相关
  • 度量两个变量是不是同增同减
  • 皮尔逊相关系数度量的是两个变量的变化趋势是否一致, 不适合计算布尔值向量之间的相关度

• 杰卡德相似度 Jaccard

  • 两个集合的交集元素个数在并集中所占的比例, 非常适用于布尔向量表示
  • 分子是两个布尔向量做点积计算, 得到的就是交集元素的个数
  • 分母是两个布尔向量做或运算, 再求元素和

• 如何选择余弦相似度

  • 余弦相似度/皮尔逊相关系数适合用户评分数据(实数值),
  • 杰卡德相似度适用于隐式反馈数据(0,1布尔值 是否收藏,是否点击,是否加购物车)

4 协同过滤推荐算法代码实现：

• 构建数据集：

  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 构建数据集
  datasets = [
      ["buy",None,"buy","buy",None],
      ["buy",None,None,"buy","buy"],
      ["buy",None,"buy",None,None],
      [None,"buy",None,"buy","buy"],
      ["buy","buy","buy",None,"buy"],
  ]
  

• 计算时我们数据通常都需要对数据进行处理，或者编码，目的是为了便于我们对数据进行运算处理，比如这里是比较简单的情形，我们用1、0分别来表示用户的是否购买过该物品，则我们的数据集其实应该是这样的：

  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 用户购买记录数据集
  datasets = [
      [1,0,1,1,0],
      [1,0,0,1,1],
      [1,0,1,0,0],
      [0,1,0,1,1],
      [1,1,1,0,1],
  ]
  import pandas as pd
  
  df = pd.DataFrame(datasets,
                    columns=items,
                    index=users)
  print(df)
  

• 有了数据集，接下来我们就可以进行相似度的计算，不过对于相似度的计算其实是有很多专门的相似度计算方法的，比如余弦相似度、皮尔逊相关系数、杰卡德相似度等等。这里我们选择使用杰卡德相似系数[0,1]

  from sklearn.metrics import jaccard_similarity_score
  # 直接计算某两项的杰卡德相似系数
  # 计算Item A 和Item B的相似度
  print(jaccard_similarity_score(df["Item A"], df["Item B"]))
  
  # 计算所有的数据两两的杰卡德相似系数
  from sklearn.metrics.pairwise import pairwise_distances
  # 计算用户间相似度
  user_similar = 1 - pairwise_distances(df, metric="jaccard")
  user_similar = pd.DataFrame(user_similar, columns=users, index=users)
  print("用户之间的两两相似度：")
  print(user_similar)
  
  # 计算物品间相似度
  item_similar = 1 - pairwise_distances(df.T,