MAP
- AP:平均准确率,类似于顺序敏感的recall;返回的推荐结果中,我们需要的排在越前面越好。
- MAP:为所有用户的AP取均值。
def MAP(origin, res, N):
sum_prec = 0
for user in res:
hits = 0
precision = 0
# 一个用户一个用户算
for n, item in enumerate(res[user]): precision;
if item[0] in origin[user]:
hits += 1
# 越前面越好哦
precision += hits / (n + 1.0)
sum_prec += precision / (min(len(origin[user]), N) + 0.0)
return sum_prec / (len(res))
NDCG
NDCG:
CG:将每个推荐结果相关性(relevance)的分值累加后作为整个推荐列表(list)的得分。但是没有考虑每个推荐结果处于不同位置对整个推荐效果的影响。
DCG:在CG的基础上引入位置影响因素,即Discounted Cummulative Gain, 对于排名靠后推荐结果的推荐效果进行“打折处理。但不同的推荐列表之间,很难进行横向的评估。
NDCG:我们评估一个推荐系统,是对整个测试集中的用户及其推荐列表结果进行评估。 那么不同用户的推荐列表的评估分数就需要进行归一化,也即NDCG(Normalized Discounted Cummulative Gain)。等于DCG/IDCG
def NDCG(origin,res,N):
sum_NDCG = 0
for user in res:
DCG = 0
IDCG = 0
#1 = related, 0 = unrelated
for n, item in enumerate(res[user]):
if item[0] in origin[user]:
DCG+= 1.0/math.log(n+2)
for n, item in enumerate(list(origin[user].keys())[:N]):
IDCG+=1.0/math.log(n+2)
sum_NDCG += DCG / IDCG
return sum_NDCG / (len(res))