信息检索评价指标NDCG、a-NDCG


PAMM中使用的检索多样性的评估方法为:

 

NDCG中,文档的相关度可以分为多个等级进行打分。

 

1)CG(Cumulative Gain):

表示前p个位置累计得到的效益,公式为:

其中rel表示第i个文档的相关等级,如2表示非常相关,1表示相关,0表示无关,-1表示垃圾文件。

 

2)DCG(Discounted Cumulative gain)

 

CG中的计算没有考虑到位置信息,比如检索到了三个文档相关度一次为(3,-1,1)和(-1,1,3),显然前面的排序好一点,但是两个排名的CG值是相同的,所以要在CG运算中中加入位置信息的计算。假设每个位置按照从小到大排序,它们的价值依次递减,如:假设第i个位置的价值为

DCG的公式为:



另一种比较常用的,用来增加相关度影响比重的DCG计算方式是:



 

3)IDCG(ideal DCG)

 

IDCG是指理想情况下的DCG,即DCG取得最大值的情况。公式为:


其中|REL|表示文档按照相关性从大到小的顺序排序,取前p个文档组成的集合。

 

4)NDCG(Normalize DCG)

由于每个查询语句所能检索到的结果文档集合长度不一,p值的不同会对DCG的计算有较大的影响。所以不能对不同查询语句的DCG进行求平均,需要进行归一化处理。NDCG就是用IDCG进行归一化处理,表示当前DCG比IDCG还差多大的距离。公式如下:


这样每个查询语句的NDCG就是从0到1,不同查询语句之间就可以做比较,就可以求多个查询语句的平均NDCGNDCG@10NDCG@20分别表示求p为10和20的时候的NDCG

(5)PAMM中的

NDCG的变形,其中新发现的subtopics被奖励,多余的subtopics被惩罚。等级k的得分可以通过将标准NDCG@k中的原始增益值替换为新颖性收益来定义。公式为:



其中是排名列表y中排在r位置的新颖性收益


是包含第s个subtopic的r-1排名内观察到的文档数目;


为在正排名中排在r位的新颖性收益


y(k)是排名为k的文档索引; 


参数通常设置为0.5 。

 

 

 


  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是对评价指标NDCG、AUC、ACC、Precision和Recall的简要介绍: 1. NDCG (Normalized Discounted Cumulative Gain):NDCG是用于衡量排序算法性能的指标,常用于评估推荐系统的排序质量。它考虑了推荐列表中每个项目的相关性和排序位置,通过对相关性进行折扣和累加来计算得分,然后将得分标准化,使得评估结果在0到1之间,越接近1表示排序质量越好。 2. AUC (Area Under the ROC Curve):AUC是用于衡量分类算法性能的指标,常用于评估二分类问题的预测准确性。ROC曲线是以真正例率(True Positive Rate)为纵轴,假正例率(False Positive Rate)为横轴绘制的曲线,AUC则是ROC曲线下的面积。AUC越接近1表示分类器性能越好。 3. ACC (Accuracy):ACC是用于衡量分类算法性能的指标,表示分类器正确预测的样本占总样本数的比例。ACC通常用于评估多分类问题中分类器的准确性,取值范围为0到1,越接近1表示分类器性能越好。 4. Precision (精确率):Precision是用于衡量分类算法性能的指标,表示分类器在预测为正例的样本中,真正例的比例。精确率主要关注分类器的预测准确性,计算公式为真正例数除以真正例数加上假正例数。 5. Recall (召回率):Recall是用于衡量分类算法性能的指标,表示分类器成功预测为正例的样本占所有真正例的比例。召回率主要关注分类器对正例的全面性,计算公式为真正例数除以真正例数加上假负例数。 这些评价指标在不同的任务和场景中有不同的应用,可以帮助评估模型的性能和效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值