推荐系统评测指标

0前言：
什么才是好的推荐系统？这是推荐系统评测的需要解决的首要问题。那我们怎么去判断一个系统的好坏呢？我们认为一个好的推荐系统不仅仅能够准确的预测用户的行为，而且还能够扩展用户的视野，帮助用户发现那些他们可能会感兴趣但却不那么容易发现的东西。
评价一个推荐系统的好坏一般有几个不同的指标，这些指标包括：准确度、覆盖度、新颖度、惊喜度、信任度等。这些指标中，有些是可以离线计算，有的只能在线计算，有些只能通过用户反馈才能得到。下面将会依次介绍这些指标。
1推荐系统实验方法
介绍推荐系统的指标前，先看下计算和获得这些指标的主要实验方法。一般有三种：离线实验、用户调查和在线实验。

1.1离线实验：
（1）通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集
（2）将数据集按照一个的规则分为训练集和测试集
（3）在训练集上训练用户兴趣模型，在测试集上进行预测
（4）通过事先定义的离线指标评测算法在测试集上的预测结果
1.2用户调查：
用户调查需要有一些真实的用户，让他们在需要测试的推荐系统上完成一些任务，在他们完成任务时，我们需要观察和记录用户的行为，并让他们回答一些问题。最后，分析他们的行为和答案了解测试系统的性能。
1.3在线实验：
在完成离线实验和必要的用户调查后，可以将推荐系统上线做AB测试，将它和旧的算法进行