人工智能应用-推荐系统概述 2021-11-20

人工智能基础总目录

一、AI 概述

机器学习的模型十大模型

1 分类算法

分类与回归在一起。

• C4.5，
• 朴素贝叶斯（Naive Bayes），
• SVM，
• KNN，
• Adaboost，
• CART

2 聚类算法

• K-Means
• EM

3 关联分析

从数据中挖掘关联的关系，组合。

• Apriori

4 连接分析

用来做排名等相关内容，源自于网页的排名（不仅限），网页影响力的计算方法。

• PageRank

5 python相关算法包

Step1 引用工具包
Step2 数据预处理：方便后续处理
Step3 选择模型，比如CART决策树
Step4 训练模型（训练集）
Step5 模型评估（测试集）

深度学习的模型

神经网络不是一个新的概念，端到端的黑盒，可解释性较差，自适应完成特征提取。

1 深度学习的经典网络模型

1、卷积神经网络（CNN）
LeNet-5、AlexNet、VGG、GoogleNet、ResNet、DenseNet
2、 循环神经网络（RNN）
应用领域：机器翻译、情感分析等NLP领域
3、深度信念网络（DBN，Deep Belief Network）
2006年由Geoffreg Hinton（机器学习泰斗）提出，是一种生成模型，由多个受限玻尔兹曼机组成。
4、生成对抗网络（GAN）
对抗的双方分别为：判别模型和生成模型
5、深度强化学习（DRL）
四个基本组件组成：环境、代理、动作、反馈

2 深度学习框架

• Tensorflow, Keras, Paddle（百度）
• Tensorflow 2.0, 2019年发布，相比于1.0更加简洁
• Pytorch，Facebook开发，Python + Torch

尽量使用科学计算库，代替 Numpy，利用 GPUs

二、推荐系统概述

推荐系统是一种 信息过滤 系统，根据用户的历史行为、社交关系、兴趣点。算法可以判断用户当前感兴趣的物品或内容。实现每个人的界面不同，千人千面。

1.机器如何找到这些适合你的商品

1 推荐实现方法

• 1 Content-based Filtering （内容的标签）
  最早人们使用的是基于内容的推荐方法，根据物品的属性为他们打上标签，再通过这些标签计算他们之间的相似度。 静态数据
• 2 Collaborative Filtering（协同过滤）
  协同过滤就是通过数据找到与你相似的用户，通过他们的行为和他们喜欢的内容。为你推荐你可能感兴趣的物品或内容。 动态数据

2 收集数据

在推荐系统中，Using data重在“相似度”，Solve problems在于“推荐”。data可以是物品本身的，也可以是基于用户行为的。

• 物品信息
  Content-based 基于物品本身的内容。
• 用户行为
  显性反馈数据：用户明确表示对物品的喜欢行为：评分，喜欢，收藏，购买
  隐性反馈数据：不能明确反映用户喜好的行为：浏览，停留时间，点击

3 协同过滤的思想

矩阵： 行 人 U1, U2; 列 物品I1, I2; 值为对物品的喜好程度。
行向量的相似度。

• 如何评判“相似”
  User-based，两个人共同喜欢的东西越多，那么两个人就越相似
  Item-based，两个物品共同喜欢的人越多，这两个物品就越相似

• 如何进行“推荐”
  UserCF，和你兴趣相投的用户，推荐他们喜欢的商品
  ItemCF，给用户推荐和他们之前喜欢的物品相似的物品
  （ItemCF不利用物品的内容属性计算物品之间的相似度，主要通过分析用户的行为记录计算物品之间的相似度）

2.推荐系统的冷启动问题

用户冷启动：新用户来的时候，如何推荐
物品冷启动：新的物品，如何推荐
系统冷启动：新的网站上线，如何推荐

3 Exploit & Explore问题（利用与探索）

选餐厅：
Exploitation : 去最喜欢的餐厅。 充分利用已有的资源，信息茧房
（信息圈养）。
Exploration: 尝试新餐厅。 认知未知的世界。 准确率低。

3.1 Bandit算法解决冷启动

如果用户对推荐的某个Topic感兴趣，就代表获得了收益。否则就表示遗憾
“选择-观察-更新-选择”的循环，将收益最大化。 过几次试验，刻画出新用户心中对每个Topic的感兴趣概率。
目标是带来更多收益（累积收益最大化）

3.2 AlphaGo中的UCB算法

3 推荐系统架构

• A 数据源
  item特征，用户画像，用户行为。 数据量大
• B 召回阶段
  粗筛，得到候选物品集。简单数据量，后续计算复杂
• C 排序阶段
  对多个召回通道的内容进行打分排序，选出最优的少量结果。兼顾推荐系统的多维度指标：覆盖率，多样性，新颖度。