《推荐系统实践》笔记（一）推荐系统的简介、应用与评测

一、简介

 

随着互联网的发展，人们从信息匮乏进入了信息过载（Overload）的时代，推荐系统的任务就是联系用户和信息，一方面帮助用户发现有价值的信息，另一方面把信息展现在感兴趣的用户面前。

 

二、什么是好的推荐系统？

 

一个完整的推荐系统包括三部分 用户（用淘宝的人），提供推荐系统的网站（淘宝），物品提供者（淘宝店家） 。

好的推荐系统设计，能够让推荐系统本身收集到高质量的用户反馈，不断完善推荐的质量，增加用户和网站的交互，提高网站的收入。因此在评测一个推荐算法时，需要同时考虑三方的利益， 一个好的推荐系统是能够令三方共赢的系统。 

早期的人们将预测准确度作为指标，比如京东图书推荐了一个用户购买《高等数学》，而这个用户最终也购买了这本书，这便可以认为是一次准确的预测。但是大量研究表明，准确的推荐并不意味着好的推荐，比方说这个用户本来就打算购买《高等数学》，所以这样的推荐并没有使他购买了更多的书，甚至没有推荐系统，他也会购买这本书。

所以，好的推荐系统不仅能够准确预测用户的行为，而且能够扩展用户的视野，用户发现那些他们可能感兴趣，但却不容易发现的商品。另外，推荐系统还要帮助商家将不热门的商品推荐给那些感兴趣的潜在用户。

 

三、推荐系统的实验方法

 

1、离线实验（Offline Experiment）

 

离线实验的方法一般由如下几个步骤构成:

(1) 通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集;

(2) 将数据集按照一定的规则分成训练集和测试集;

(3) 在训练集上训练用户兴趣模型，在测试集上进行预测;

(4) 通过事先定义的离线指标评测算法在测试集上的预测结果。 

 

优点：

这种实验方法的 好处是不需要真实用户参与，可以直接快速地计算出来，从而方便、快速地测试大量不同的算法。 

 

缺点：

它的主要缺点是无法获得很多商业上关注的指标，如点击率、转化率等，而找到和商业指标非常相关的离线指标也是很困难的事情 

 

2、用户调查（User Study）

 

在进行离线实验之后，如果各项指标比之前算法有优势，可以在上线之前进行用户调查。

用户调查的优点是可以直接获取大量关于用户主观体验的指标。但是缺点是招募测试用户的代价比较大，难以组织大量的测试用户，因此统计意义不足。

 

3、线上测试（Online Experiment）

 

实际上是将推荐系统上线，在线上做AB测试，主要是将新旧系统的算法进行对比测试。

AB测试通过将用户按照一定的规则随机分成几组，并将不同组的用户采用不同的算法，然后统计不同组用户的各种指标来对比不同算法的优劣，比如可以统计不同组用户的点击率、页面停留时间等，衡量算法性能。

AB测试的优点是可以公平获得不同算法实际在线时的性能指标，包括商业上关注的指标。 AB测试的缺点主要是周期比较长，必须进行长期的实验才能得到可靠的结果。因此一般不会用 AB测试测试所有的算法，而只是用它测试那些在离线实验和用户调查中表现很好的算法。

其次，一个大型网站的AB测试系统的设计也是一项复杂的工程。一个大型网站的架构分前端和后端，从前端展示给用户的界面到最后端的算法，中间往往经过了很多层，这些层往往由不同的团队控制，而且都有可能做AB测试。如果为不同的层分别设计AB测试系统，那么不同的AB测试之间往往会互相干扰。比如，当我们进行一个后台推荐算法的AB测试，同时网页团队在做推荐页面的界面AB测试，最终的结果就是你不知道测试结果是自己算法的改变，还是推荐界面的改变造成 的。因此，切分流量是AB测试中的关键，不同的层以及控制这些层的团队需要从一个统一的地并对不同组的用户采用不同的算法，然后通过统计不同组用户的各种不同的评测指标比较不同算法，比如可以统计不同组用户的点击率，通过点击率比较不同算法的性能。

 

四、推荐系统的指标

 

推荐系统最为重要的指标是准确率，即预测的准确率。

但是准确率并不是总能衡量一个推荐系统的优劣。为了评价推荐系统对三方利益的影响，推荐系统还有一下衡量指标： 这些 指标包括准确度、覆盖度、新颖度、惊喜度、信任度、透明度等。这些指标中，有些可以离线计算，有些只有在线才能计算，有些只能通过用户问卷获得。 

 

五、评测维度

 

一个推荐算法有可能整体性能不好，但是在某些情况下性能较好，通常我们考虑如下三种评测维度：

（1）用户维度，主要包括用户的人口统计学信息、活跃度以及是不是新用户等；

（2）物品维度，包括物品的属性信息、流行度、平均分以及是不是新加入的物品等；

（3）时间维度，包括季节，是工作日还是周末，是白天还是晚上。