【大数据技术与推荐系统(6)】推荐算法及开发环境配置

推荐模型构建流程

Data->Feature->ML Algorithm->Prediction Output

1. What data to use?

• 显性数据
  • Rating
  • Comments
• 隐形数据
  • Order history/return history
  • Cart events
  • Page views
  • Click-thru
  • Search log

2. What feature to use?

• 一个给定的商品，可能被拥有类似品位或需求的用户购买
• 使用用户行为数据描述商品，将所有的用户行为合并在一起，形成一个user-item矩阵
  

3. Which Algorithm？★
4. Prediction Output
   Cross-sell&Up-sell Recommendation

推荐算法概述

• 基于内容过滤
  • 从信息检索和文本检索发展而来
  • 基于商品描述及用户喜好描述，为用户推荐商品
  • 弊端：
  • 需要了解商品内容
    • 需要人工或自动标注信息
    • 商品内容不能反映所有特点
  • 冷启动问题
    • 需要花时间学习哪些内容或feature对用户而言是更重要的
    • 如果用户兴趣点改变了呢
  • Lack of serendipity
    
• 协同过滤
  • 基于用户行为为用户推荐感兴趣的商品
  • 行为可以是过往的交易行为和商品评分，这种方式不需要显性的属性信息
• 混合推荐
• 对比
  

基于协同过滤的推荐算法

• 协同过滤算法
  • 基于用户行为的推荐
  • 行为可以是过往的交易行为和商品评分，这种方式不需要显性的属性信息
• 协同过滤分类
  • 最近邻（neighborhood ）方法
  • 借助商品的关系或者用户的关系
• 基于模型的方法
  • 用隐含变量刻画商品

最近邻方法

• 最邻近方法
  • 基于假设 ： “跟你喜好相似的人喜欢的东西你也很有可能喜欢” 或“跟你喜欢的物品类似的物品你也很有可能喜欢 ”
• 分类
  • User-based 方法
    • 基于user的协同过滤，通过不同用户对item的评分来评测用户之间的相似性，基于用户之间的相似性做出推荐
  • Item-based方法
    • 基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐

User-based

• 查找用户相似度

1. 如何预测用户1对于商品4