1. 命中率(Hit Rate)
概念
命中率是衡量推荐系统准确性的指标之一。它表示推荐列表中用户实际感兴趣(例如实际点击或购买)的项目所占的比例。
计算方法
命中率的计算非常直接。你只需要统计推荐列表中用户实际感兴趣的项目数量,然后除以测试集中用户实际感兴趣的总项目数量。
示例:
假设一个用户在测试集中对5个项目感兴趣,推荐系统推荐了10个项目,其中3个是用户实际感兴趣的,那么命中率为 3/5 = 0.6。
2. 平均倒数排名(MRR)
概念
MRR是一种衡量推荐系统或信息检索系统性能的指标,特别是用来衡量返回结果的排名质量。MRR考虑了用户第一次遇到相关项目的排名;
结果列表中,第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和,再求平均
计算方法
对于每个查询,首先计算倒数排名(即第一个相关项目的排名的倒数),如果没有相关项目,则倒数排名为0。然后,计算所有查询的倒数排名的平均值。
3. 归一化折扣累积增益(NDCG)
概念:
NDCG是一种在信息检索领域中广泛使用的评价指标,用于衡量排名质量。它考虑了所有相关项目的排名,并根据排名对其赋予不同的权重(排名越靠前,权重越大)。
计算方法:
首先计算DCG(Discounted Cumulative Gain),然后将其标准化。