推荐系统 理论笔记 一 （概述 简介 测评）

东西太多了，我们需要推荐系统。




个性化推荐就是你浏览过什么推荐你什么。如果推荐你的是热门内容，那是基于统计的推荐。
电子商务和音乐推荐是不同的，比如过你买了某个物品，短期内你是不想再买的，但是音乐不是，是会推荐相同的给你。
电商和电影我们都是很专注的，但是音乐不一样，我们都是背景音乐，不需要集中精力。这些特点都会导致它们本身的算法和原则不同。
推荐系统一开始要了解用户真正喜欢的内容是什么。
推荐系统的基本思想：物以类聚，人与群分


当物品的特征和用户的喜爱匹配，就可以推荐了。
推荐系统的数据分析：3个数据源（用户、物品、行为）


推荐系统的分类
基于行为数据进行的推荐，就是协同过滤推荐。


基于数据源的推荐算法分类：
人口统计：用户数据
内容推荐：物品数据
协同过滤：行为数据

基于人口统计学的推荐：人以群分

基于内容的推荐算法：物以类聚

物以类聚、人与群分：都是按照相似度来推荐。

基于协同过滤的推荐：（Collaborative Filter CF）行为数据，用户和物品之间相关联的数据。
基于近邻的协同过滤：基于用户or基于物品。本质就是找相似
基于模型的协同过滤：主要是机器学习算法

从上面的矩阵可以看出，行为数据本身是一个稀疏矩阵。所以如果矩阵非常稀疏的时候，我们的推荐效果不好。CF依赖历史数据。所以一个用户注册进来，没有历史数据。这时候是冷启动问题，我们会给他一些基本的推荐。可以基于统计或者通过用户数据进行推荐。所以要各个不同的推荐方法一起应用。

CF能够用到的数据信息其实是更多的。
当没有用户信息，也没有物品信息的时候，只有行为数据，我们依然可以通过行为数据进行CF，给用户做推荐，也就是说，当用户和物品的交互行为产生了行为数据，推荐就可以做了。（行为数据在日志里）

基于用户的协同过滤：当我们没有用户信息时，我们需要更多的行为数据。用户a和c都喜欢物品AC。用户c还喜欢D，就把D推荐给用户a。

基于物品的协同过滤：下图从用户的角度看，用户abc都有点相似，所以我们要从物品的角度看。物品A被abc都喜欢，物品C被ab都喜欢。物品B只有b喜欢。所以物品A和物品C相似。所以当用户c喜欢物品A时。我们把相似的物品C推荐给用户c。

协同过滤：当我们没有用户信息or物品信息时，我们通过用户和物品之间的关联，找到用户内部or物品内部的相似关系。最终再做物以类聚，人与群分。
混合推荐

推荐系统测评

推荐系统实验方法
离线实验： 通过已经获得的数据，进行离线的验证。
优点：
比较方便，只有有日记采集的系统，我们提取数据就可以，和业务系统没有关联。我们可以通过这个优点，测试大量不同的算法。
缺点：
和实际业务系统还有差别。我们无法通过离线数据的推荐模型，知道用户真正通过新的模型后，他的点击率，购买率以及转化率等实际业务层面的指标。

用户调查：
优点：知道用户的真实感受，直接获取第一手资料。
缺点：找到靠谱的用户成本高。而且无法大量调查。

在线实验： AB测试。像考试的AB卷，一部分同学做A卷，一部分人做B卷。AB测试既是推荐系统分成AB部分，然后将用户随机分成2组，让2组用户推荐AB2套系统，最后看哪组推荐系统更好。
优点：数据真实，接触到实际业务数据。
缺点：用户行为收集还是需要长期收集。

综上所述，各种实验方法各有优劣，所以我们实际业务中，会综合使用。先离线实验找出表现还不错的算法，接着做一些基本的用户调查，保证用户体验不必之前差，最后用在线实验进行AB测试（A原有推荐系统，B新的推荐系统），如果好，就切换新的推荐系统。

推荐系统的评测指标

推荐准确度评价：
评分预测：通过用户的历史评分，预测他的新的评分，然后算RMSE或MAE。
Top-N推荐：个性化的推荐列表，Top-N的预测准确率一般由精确率precision和召回率recall来度量。

关于precision和recall。需要知道混淆矩阵：对于机器学习，混淆矩阵是一个2分类问题，对于推荐系统，混淆矩阵就是推荐or不推荐的问题。

注意如果真实值和预测值互换位置，里面的位置也会调换。
记住一点，TP或者FP都是基于预测值说的。所以预测对了，就是T，预测错了，就是F。

pricision：推荐出来的人中，到底有多少应该被推荐出来。
recall：总共有多少应该被推荐，总共推荐了多少出来。