人工智能项目——推荐系统实战（一）

• 推荐系统

  • 概念

    • 信息过滤系统 解决信息过载 用户需求不明确的问题
    • 利用一定的规则给物品推序 展示给需求不明确的用户

  • 推荐 搜索区别

    • 推荐个性化较强，用户被动接受，希望能够提供持续服务
    • 搜索个性化弱，用户主动搜索，快速满足用户需求

  • 推荐和web项目区别

    • web 构建稳定的信息流通通道
    • 推荐 信息过滤系统
    • 推荐 结果是概率问题
    • web 对结果有明确预期

• 推荐系统的架构

  • 系统要素

    • UI与UE（前端界面）
    • 数据（Lambda架构）
    • 业务知识
    • 算法

  • 整体架构

    

    • 大数据Lanbda架构

      • 解决实时计算（数据相对比较小，可以快速反应）和离线计算（数据量太多需要一定时间才能完成）共同提供服务的问题
      • 离线/实时计算优劣
        • 离线：处理数据量大，延迟大
        • 实时：响应快，处理的数据量小
      • 涉及技术
        • 分层架构
          • 批处理层（离线）
            • data不可变，可进行任何运算，可水平扩展
            • 高延迟（计算量数据量不同so延迟不同）
            • 日志收集Flume
            • 分布式存储Handoop（数据量太大一个地方存不下要分布在多个地方存储）（数据分布式处理分布在n台电脑上so也可以在n台电脑上一起处理数据加快数据处理）
            • 分布式计算Hadoop MapReduce & spark
            • 视图存储数据库
              • nosql
              • Redis/memcache
              • MySQL
          • 实时处理层（在线）
            • 流式处理，持续计算
            • 存储分析某窗口期内数据
            • 最终正确性
            • 实时数据收集 flume（日志采集系统） & kafka（消息队列）
            • 实时数据分析 spark streaming / storm / flink
          • 服务层
            • 支持随机读
            • 短时间内返回结果
            • 读取并归并批处理层和实时处理层结果

    • 推荐算法架构

      • 召回阶段（基于用户行为海选推荐内容）
        • 协同过滤算法
          • 基于用户的
          • 基于物品的
      • 排序阶段（决定最终推荐效果）
        • CTR预估（即点击率预估，根据用户点击数据估计用户是否会点击）（使用LR算法即逻辑回归算法）
          • LR算法:
      • 策略调整（根据推荐效果与商业合作等调整推荐策略）

• 推荐模型建构

  • 流程：数据采集->特征工程->挑选算法训练模型->评估、模型上线

    • 特征工程（从数据中筛选特征）

      • 协同过滤算法（最经典的推荐算法）

        • 基本思想：物以类聚人以群分（和你喜好相同的人喜欢的东西，和你喜欢的东西相似的东西）
        • 实现步骤
          • 1.计算两两相似度然后排序，找出top_n相似的人或物
          • 2.by top_n结果生成初始推荐结果，再过滤掉用户已有记录者or明确不感兴趣者
          • 基于用户：
            • 1.给用户a找到最相似的n个用户
            • 2.n个用户消费过哪些物品
            • 3.n个用户消费过的物品中减去a消费过的=推荐结果
          • 基于物品
            • 1.给物品a找到最相似的n个物品
            • 2.找到a用户的消费记录中物品的相似物品
            • 3.从这些消费物品中减去重合的=推荐结果
        • 相似度计算方法
          • 数据分类：实数值（物品评分）、布尔值（是否点击是否收藏）
          • 计算方法：\\\\（数据是连续数值则较适合余弦和皮尔逊）\\\\（数据是0、1布尔值适合用杰卡德相似度）
            • 余弦相似度（只考虑夹角不考虑向量长度）（算向量夹角的余弦值）
            • 皮尔逊相关系数（对余弦相似度的优化）（对向量的每个分量做中心化再求余弦相似度）
            • 杰卡德相似度（交集除以并集）
        • 代码实现(后续作品ing)
        • 基于模型的算法
          • 用户-物品矩阵较稀疏时，直接取物品向量 用户向量计算相似度不太靠谱
          • 基于模型的算法可以解决用户-物品矩阵较稀疏的问题
          • 矩阵分解
            • m x n的矩阵可以拆分为m x k和k x n的矩阵（前提：k<<m且k<<n）
              • 把大矩阵拆分为两个小的 用户矩阵 物品矩阵
              • 大矩阵 约等于 用户矩阵 × 物品矩阵
              • 用aks 交替最小二乘法来优化损失
              • 算出优化后的物品矩阵 取出物品向量
              • 算出优化后的用户矩阵 取出用户向量
              • 用户向量点乘物品向量 得最终评分预测

• 推荐系统评估

  • 隐式反馈&显式反馈

  • 常用指标

    

    • 

       
      • 准确性
        • 理论角度
          • 评分预测（把用户数据划分训练集测试集用RMSE MAE算）
          • topn推荐（召回率 精准率）
        • 业务角度

          

  • 评估方法

    • 问卷：成本高，影响用户体验
    • 离线评估：仅能评估少数指标，只能在用户看到过的候选集上做评估且有偏差，速度快不影响用户体验
    • 在线评估：灰度评估&A/B测试50%全量上线
    • 实践：离线评估和在线评估结合，定期问卷调查

• 推荐系统冷启动问题

  • 概念（本质是推荐系统依赖历史数据预测用户偏好）

    • 用户冷启动：how为新用户做个性化推荐

      • 1.收集用户特征（基本信息填写，权限获取）
      • 2.引导用户填写兴趣
      • 3.使用其它站点的行为数据
      • 4.新老用户推荐差异
        • 新：热门推荐；老：长尾推荐
        • explore explot力度
        • 使用单独的特征和模型评估
      • 综上即：打标签（尽量收集用户信息构建用户画像）、据标签聚类，用已有用户的行为做推荐、基于流行度

    • 物品冷启动：how将新物品推荐给用户

      • 给物品打标签构建物品画像、物品聚类基于已有相似物品做基于内容的推荐

    • 系统冷启动：用户冷启动+物品冷启动

      • 若应用缺乏用户行为数据，做基于内容的推荐
        • 基于内容的推荐：
          • 给物品打标签
            • 系统自己提取（如业务数据库）
            • 用户填写（如淘宝搜索关键词）
            • 中文分词 利用算法计算词的权重（词出现频率高则权重大之类）
              • 计算词权重的算法有：tf-idf（term frequency词频idf逆文档率）（如1000篇文有20篇出现了python，那其逆文档率就是1000/20后以取以10为底的对数值）、textrank
          • 利用标签的文字 转换成词向量
            • 用向量表示语义，若两词向量相似度高则认为语义相近
          • 利用词向量 构建物品的向量
            • 一个物品有n个关键词，每个关键词对应一个词向量
            • 求和（权重*词向量）/n
            • 利用n个关键词的词向量获取物品向量
          • 通过物品向量计算相似度
            • 皮尔逊相关系数 计算物品相似度
      • 随用户行为积累，做协同过滤
      • 最后基于内容和协同过滤的结果都算出来，加权求和得结果
        • 比较 （a）基于内容的推荐&（b）基于物品的协同过滤
          • contend_base:词向量->物品向量->计算相似度
          • item_based cf:user-item martrlx->物品向量->相似度
          • 物品向量构建过程不同
            • a：by文本（物品描述信息，系统填标签，用户填标签）（物品本身）
            • b：by用户评分矩阵数据得到（用户行为）

• 推荐算法

  • Model-Based CF（基于模型的协同过滤算法）

    • 基于K最近邻的协同过滤推荐
    • 基于回归模型的协同过滤推荐
      • 基准预测Baseline
        • 偏置：用户或物品普遍高于或低于平均值的差值
        • 用基准预测来预测评分的步骤：

          

          

        • 求解用户偏置与物品偏置的问题可转换为损失优化的过程（找到与已知评分拟合的最好的用户偏差和物品偏差并避免过拟合）
    • 基于矩阵分解的协同过滤推荐

  • 梯度下降算法：一种用于找到函数局部最小值的优化算法

    • 随机梯度下降
      • 在推荐系统中主要用于最小化损失函数，从而实现模型参数的优化
        • 解决数据稀疏性问题：通过优化损失函数，有效地学习用户-项目之间的相似度，从而减少数据稀疏性对推荐系统性能的影响。
        • 解决冷启动问题：通过在新用户或新项目上进行软最大化，从而为其提供更准确的推荐。
        • 优化推荐系统的评估指标：通过优化不同的损失函数实现对推荐系统的性能评估。
    • 代码实现（后续作品ing）