几种常用的 Metrics to evaluate the link prediction results / recommender systems 链接预测评估指标，推荐系统适用

已于 2022-11-03 22:44:16 修改
阅读量609 收藏 1
点赞数 1
文章标签： python 数据挖掘 知识图谱 人工智能
于 2022-11-03 22:30:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyuhe/article/details/127679141
版权

  • Hit@K : indicates whether at least one of the top-K recommended items was in the test data (the by-user average is typically called "Hit Rate" or "Hit at top K").

    表示在Top K个推荐项里，是否至少有一个在测试数据中 / 是正确答案，常用的有Hits@1，和Hits@10等。

  • MRR: Mean Reciprocal Rank : The reciprocal rank of a query response is the multiplicative inverse of the rank of the first correct answer: 1 for first place, 1⁄2 for second place, 1⁄3 for third place and so on.

    RR表示正确答案的排名的倒数，排在第一个推荐项即为1，Top3即为1/3。MRR为平均值，算法如下图：

MRR算法

下图为各个知识图谱表示学习框架在TransE模型上的MRR以及Hit@K评估结果：

小白爱摸鱼
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大规模知识图谱预训练模型及电商应用
weixin_45585364的博客
07-14 1100
点击上方蓝字关注我们大规模知识图谱预训练模型及电商应用陈华钧1,2,张文3,黄志文4,叶橄强1,文博1,张伟2,41浙江大学计算机科学与技术学院，浙江 杭州 3100072阿...
visual prediction中的几个metrics
01-07
这里记录一下在Visual Prediction中用到的几种metrics： The structural similarity (SSIM) 其中 SSIM的公式基于样本x和y之间的三个比较衡量：亮度 (luminance)、对比度 (contrast) 和结构 (structure)。 所以...
HIT神经网络与深度学习第2周课程总结
K_Xuan__的博客
03-19 94
HIT神经网络与深度学习第2周课程总结
hit@k 评价指标
LiQZ的博客
05-27 9461
hit@k 指的是在前 k 个结果中命中的概率。举例而言，假设我们在做 MLM (masked language model) 任务，输入：A bird usually has [MASK] legs. 真实标签为：two，输出的结果为： four: 0.321 two: 0.178 three: 0.114 six: 0.064 no: 0.063 如果是用 hit@1 accuracy 作为评价指标，那么我们看前 1 个结果，是 four，那么 FN + 1； 如果是用 hit@2 accura
Learning Representations For Images With Hierarchical Labels(四)
大烤翅的博客
04-10 1499
Chapter 4 实证分析：将标签层次结构注入CNN分类器 在本章中，我们描述了用于评估我们帮助分类器利用标签层次结构的方法的数值实验。在讨论实验细节之前，我们将讨论在不同模型之间比较性能指标的选择。 4.1 性能指标 为了量化性能，我们使用微观和宏观平均分数。尽管微积分的贡献与类别规模成比例，但最终却掩盖了不太频繁出现的类别。这样的模式在很大程度上是具有层次标签的数据集的一部分，因为层次结构的更高级别的类抽象了它们的后代，与下面的类相比，具有更多的样本，而层次结构的叶节点具有最少的样本数。相比之下
HIT ~ 1402~整数划分问题（动态规划 or 母函数）
张松超的博客
07-27 1087
概念编辑所谓整数划分，是指把一个正整数n写成为其中，  为正整数，并且  ；  为n的一个划分。如果  中的最大值不超过m，即  ，则称它属于n的一个m划分。[1] 求划分个数编辑分析这里我们记n的m划分的个数为  。例如，当n=4时，有5个划分，即  ，  ，  ，  ，  。注意：  和  被认为是同一个划分。根据n和m的关系，考虑一下几种情况：（一）当  时，无论m的值为多少  ，只有一种划...
【Unbiased Scene Graph Generation from Biased Training】场景图评估指标详解（附代码解读）
weixin_43939542的博客
07-07 1458
这篇文章所提到的场景图评估方法均来自Unbiased Scene Graph Generation from Biased Training。下文是我引用作者的表述，结合作者源代码的解读所给出的对于每个评估指标更加详细的表述，同时附带代码注释。给定一张图片，根据预测的主客体对和该主客体对所对应的每个关系类别的分数，按关系分数最高的选出该主客体对最佳的关系组成预测关系对。（也就是一个主客体对会组成一个预测关系对）对前K个预测关系对...
知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K
l8947943的博客
11-14 1万+
MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。MRR=∣S∣1​∑i=1∣S∣​ranki​1​=∣S∣1​(rank1​1​+rank2​1​+⋅⋅⋅+ranki​1​)其中S是三元组集合，∣S∣是三元组集合个数，ranki。
知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义
qq_43489708的博客
05-05 5341
知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义 本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。 文章目录知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义一、MRR二、MR三、HITS@n四、从论文上发现的观点四、从论文上发现的观点 一、MRR MRR的全称是Mean Reciprocal Ranking(
知识图谱链接预测时的评估指标：mean rank和hit@10 。
weixin_46987878的博客
07-01 1万+
链接预测是用来预测三元组（h，r，t）中缺失实体h，t或r的任务，对于每一个缺失的实体，模型将被要求用所有的知识图谱中的实体作为候选项进行计算，并进行排名，而不是单纯给出一个最优的预测结果。 在测试阶段，对于每个待测试三元组，用知识图谱中的除去h与t之外的其他实体作为候选项来替换头实体或尾实体，并且按大小顺序给出这些实体的评分函数。 使用了两种评测方法。 正确的实体评分函数的平均排名（mean rank）， 正确的实体排名在前10的比例，即十命中率（hit@10） 1.先说Meanrank...
KGE性能指标：MRR，MR，HITS@1，HITS@3，HITS@10
热门推荐
飞机火车巴雷特的博客
09-12 4万+
知识图谱MRR，MR，HITS@1，HITS@3，HITS@10的含义、计算方法
torch-metrics:pytorch中模型评估的指标
05-04
火炬指标 PyTorch的模型评估指标火炬指标作为自定义库，以提供Pytorch共同ML评价指标，类似于tf.keras.metrics 。 如，Pytorch没有用于模型评估指标的内置库torch.metrics 。 这类似于的指标库。用法pip install --...
matlab信息熵代码-Metrics:机器学习评估指标，以Python，R，Haskell和MATLAB/Octave实现
05-19
指标提供以下语言的各种监督机器学习评估指标的实现： easy_install ml_metrics R提示符下的install.packages("Metrics") cabal install Metrics （从MATLAB命令行克隆repo并运行安装程序） 有关更详细的安装说明，...
eval-metrics:机器学习的评估指标
04-01
评估指标机器学习的评估指标设计该库的目标是充当轻量级且直观的功能集合，用于计算评估指标，并着重于效率和明确定义的行为。 可以从实例化BinaryConfusionMatrix或MultiConfusionMatrix计算（廉价）分类指标，例如...
metrics:与实施无关的指标，用于评估开源社区的健康状况。 由CHAOSS指标委员会维护
05-14
当前的CHAOSS指标发布可以在以下位置找到CHAOSS度量标准的当前版本： ://chaoss.community/metrics/。处理CHAOSS指标当前版本的CHAOSS度量标准表示CHAOSS度量标准工作组正在完成的已发布工作。 工作组的工作不一定与...
python复习（三）
qq_43710593的博客
04-29 411
类是一种面向。
SpringBoot中实现发送邮件
最新发布
hac1322的博客
04-30 619
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python学习笔记----循环语句（四）
取个名字太难了a的博客
04-28 1100
随机数种子在生成随机数的过程中起到一个非常重要的作用。它是用于初始化随机数生成算法（伪随机数生成器）的初始值。随机数种子的作用可重复性：当你使用特定的种子值初始化随机数生成器时，即使在不同的运行环境或不同时间，生成的随机数序列都将是相同的。这对于调试和测试非常重要，因为它允许程序的行为在使用随机数时保持一致。控制随机性：种子提供了一种方法来控制随机数生成过程。通过改变种子，你可以获得不同的随机数序列，这对于模拟和其他需要随机输入的应用非常有用。
链表刷题集
yajunjiao的专栏
04-30 797
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
pytorch序列推荐计算hit ratio@5的代码
10-25
下面是使用PyTorch计算hit ratio@5的代码示例： ```python import torch def hit_ratio_at_k(predictions, targets, k): _, indices = torch.topk(predictions, k, dim=1) targets = targets.unsqueeze(1) hits = torch.sum(torch.eq(indices, targets), dim=1) hr = torch.mean((hits > 0).float()) return hr # 示例数据 predictions = torch.tensor([[0.2, 0.3, 0.4, 0.6, 0.1], [0.3, 0.1, 0.5, 0.4, 0.2], [0.1, 0.5, 0.3, 0.2, 0.4]]) targets = torch.tensor([2, 4, 1]) k = 5 hr = hit_ratio_at_k(predictions, targets, k) print(f"HIT ratio@{k}: {hr:.2f}") ``` 这段代码计算了一个包含3个样本的预测结果和对应的目标值的示例数据。其中`predictions`是一个包含每个样本推荐得分的矩阵，`targets`是对应每个样本的目标值。`hit_ratio_at_k`函数接收预测结果和目标值作为输入，计算命中率。首先，使用`torch.topk`函数获取每个样本分数最高的k个索引。然后，对目标值进行unsqueeze操作，以匹配索引的维度。接着，通过比较indices和目标值的相等性得到命中数，再计算平均命中率。最后，输出计算结果。 以上示例代码展示了使用PyTorch计算hit ratio@5的方法，你可以根据不同的需求和数据类型进行相应的调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值