前面讲解了这么多推荐系统的算法,但是一个推荐系统做出来之后,我们并不知道其效果怎么样,这种时候,就需要对推荐系统进行测评,来告诉我们这个推荐的性能和效果怎么样。测评一般包括测评指标和测评维度。
测评指标
评测指标可用于评价推荐系统各方面的性能,这些指标有些可以定量计算,有些只能定性描述,有些可以通过离线实验计算,有些需要通过用户调查获得,还有些只能在线评测。一般情况下使用如下:
1. 用户满意度
用户作为推荐系统的重要参与者,其满意度是评测推荐系统的最重要指标。但是,用户满意度没有办法离线计算,只能通过用户调查或者在线实验获得。
2. 准确度
预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐系统离线评测指标。由于离线的推荐算法有不同的研究方向,因此下面将针对不同的研究方向介绍它们的预测准确度指标。
- 评分预测
评分预测的预测准确度一般通过均方根误差( R M S E RMSE RMSE)和平均绝对误差( M A E MAE MAE)计算。对于测试集中的一个用户 u u u 和物品 i i i,令 r u i r_{ui} rui 是用户 u u u 对物品 i i i 的实际评分,而 r u i ^ \widehat {
{r_{ui}}} rui
是推荐算法给出的预测评分,那么 R M S E RMSE RMSE 的定义为:
R M S E = ∑ u , i ∈ T ( r u i − r u i ^ ) 2 ∣ T ∣ RMSE = \frac{
{\sqrt {\sum\nolimits_{u,i\in T} {
{
{({r_{ui}} - \widehat {
{r_{ui}}})}^2}} } }}{
{|T|}} RMSE=∣T∣∑u,i∈T