MarginRankingLoss

最新推荐文章于 2024-01-18 16:06:49 发布
最新推荐文章于 2024-01-18 16:06:49 发布
阅读量7.2k 收藏 10
点赞数 2
分类专栏： math
原文链接：https://zhuanlan.zhihu.com/p/83364904
版权

https://zhuanlan.zhihu.com/p/83364904

MarginRankingLoss

大家可能对这个损失函数比较陌生。在机器学习领域，了解一个概念最直观的最快速的方式便是从它的名字开始。

MarginRankingLoss也是如此，拆分一下，Margin，Ranking，Loss。

Margin：前端同学对Margin是再熟悉不过了，它表示两个元素之间的间隔。在机器学习中其实Margin也有类似的意思，它可以理解为一个可变的加在loss上的一个偏移量。也就是表明这个方法可以手动调节偏移。当然Margin不是重点。

Ranking：它是该损失函数的重点和核心，也就是排序！如果排序的内容仅仅是两个元素而已，那么对于某一个元素，只有两个结果，那就是在第二个元素之前或者在第二个元素之前。其实这就是该损失函数的核心了。

我们看一下它的loss funcion表达式。

[公式]

margin我们可以先不管它，其实模型的含义不言而喻。

y只能有两个取值，也就是1或者-1。 1. 当y=1的时候，表示我们预期x1的排名要比x2高，也就是x1-x2>0 2. 当y=-1的时候，表示我们预期x1的排名要比x2高，也就是x1-x2<0

什么时候用？

  1. GAN
  2. 排名任务
  3. 开源实现和实例非常少

HingeEmbeddingLoss

再从名字入手去分析一下。

Hinge：不用多说了，就是大家熟悉的Hinge Loss，跑SVM的同学肯定对它非常熟悉了。

Embedding：同样不需要多说，做深度学习的大家肯定很熟悉了，但问题是在，为什么叫做Embedding呢？我猜测，因为HingeEmbeddingLoss的主要用途是训练非线形的embedding，在机器学习领域，因为用途和图形来命名的例子不在少数。

[公式]

它输入x和y（1或者-1），margin默认为1。
1. 当y=-1的时候，loss=max(0,1-x)，如果x>1（margin），则loss=0；如果x<1，loss=1-x
2. 当y=1，loss=x

什么时候用？

  1. 非线形Embedding
  2. 半监督学习
  3. 监测两个输入的相似性或者不相似性

CosineEmbeddingLoss

余弦损失函数，余弦函数常常用于评估两个向量的相似性，两个向量的余弦值越高，则相似性越高。
[公式]

1. 当y=1的时候，就是直接用-cos(x1,x2)的平移函数作为损失函数
2. 当y=-1的时候，在cos(x1,x2)=margin处做了分割，用于衡量两个向量的不相似性

什么时候用？

  1. 非线形Embedding
  2. 半监督学习
  3. 监测两个输入的相似性或者不相似性}>}>
TBYourHero
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
损失函数总结（七）：MarginRankingLoss、HingeEmbeddingLoss
走在深度学习前沿的小宋
10-27 839
本文对损失函数进行了部分总结，包括：MarginRankingLoss、HingeEmbeddingLoss等损失函数及其在当前损失函数众多的情况下使用的环境。
loss函数之MarginRankingLoss
ltochange的博客
07-12 1万+
MarginRankingLoss 排序损失函数 对于包含NNN个样本的batch数据 D(x1,x2,y)D(x1,x2,y)D(x1,x2,y), x1x1x1, x2x2x2是给定的待排序的两个输入，yyy代表真实的标签，属于{1,−1}\{1,-1\}{1,−1}。当y=1y=1y=1是，x1x1x1应该排在x2x2x2之前，y=−1y=-1y=−1是，x1x1x1应该排在x2x2x2之后。第nnn个样本对应的losslossloss计算如下: ln=max⁡(0,−y∗(x1−x2)+margin
rankingSvm
04-10
This paper focuses on the problem of Question Routing (QR) in Community Question Answering (CQA), which aims to route newly posted questions to the potential answerers who are most likely to answer them. Traditional methods to solve this problem only consider the text similarity features between the newly post-ed question and the user profile, while ignoring the important statistical features, including the question-specific statistical fea-ture and the user-specific statistical features. Moreover, tradition-al methods are based on unsupervised learning, which is not easy to introduce the rich features into them. This paper proposes a general framework based on the learning to rank concepts for QR. Training sets consist of triples (q, asker, answerers) are first col-lected. Then, by introducing the intrinsic relationships between the asker and the answerers in each CQA session to capture the intrinsic labels/orders of the users about their expertise degree of the question q, two different methods, including the SVM-based and RankingSVM-based methods, are presented to learn the mod-els with different example creation processes from the training set. Finally, the potential answerers are ranked using the trained mod-els. Extensive experiments conducted on a real world CQA da-taset from Stack Overflow show that our proposed two methods can both outperform the traditional query likelihood language model (QLLM) as well as the state-of-the-art Latent Dirichlet Allocation based model (LDA). Specifically, the RankingSVM-based method achieves statistical significant improvements over the SVM-based method and has gained the best performance.
pytorch 对特征进行mean_Pytorch中的四种经典Loss源码解析
weixin_42365346的博客
12-30 940
笔者最近在OneFlow框架对齐实现Pytorch相关Loss代码，其中也涉及到部分源码解读，数学特殊操作等知识，于是想写篇文章简单总结一下。关于Pytorch的Loss源码了解过Pytorch的应该知道其历史包袱比较重，它吸收了Caffe2的底层代码，然后自己借用这部分底层代码来写各种OP的逻辑，最后再暴露出一层Python接口供用户使用。因此第一次接触Pytorch源代码可能有点不太熟悉，基本...
PyTorch 10大常用损失函数Loss Function详解
Cynthialy_的博客
04-13 9831
目录 前言 一、损失函数 二、详解 1.回归损失 2.分类损失 三. 总结 前言 一、损失函数介绍 二、详解 1.L1 Loss 2. L2 Loss 3. Cross-Entropy Loss 4. Hinge Embedding Loss 5. NLL Loss 6.Margin Ranking Loss 7.KL Divergence Loss 8.Triplet Margin loss 总结 前言 损失函数在...
一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss
热门推荐
机器学习杂货铺1号店
01-15 1万+
一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss 翻译自FesianXu， 2020/1/13, 原文链接 https://gombru.github.io/2019/04/03/ranking_loss/ 前言 ranking loss在很多不同的领域，任务和神经网络结构（比如sia...
PyTorch学习笔记：nn.MarginRankingLoss——排序损失
qq_50001789的博客
02-10 4010
PyTorch学习笔记：nn.MarginRankingLoss——排序损失
PyTorch中的损失函数大致使用场景
irober的博客
02-10 1379
最近学习 pytorch，将其损失函数大致使用场景做了一下汇总，多参考网上大家的文章，或直接引用，文后附有原文链接，如有不对，欢迎指正 一、L1Loss L1 Loss，它有几个别称： L1 范数损失 最小绝对值偏差（LAD） 最小绝对值误差（LAE） 最常看到的 MAE 也是指L1 Loss损失函数 它是把目标值 g 与模型输出(估计值) y 做绝对值得到的误差 。 什么时候用？ 回归任务 简单的模型 由于神经网络通常是解决复杂问题，所以很少使用。 二、MSELoss 也就是L2 Lo...
class torch.nn.MarginRankingLoss(margin=0, size_average=True)
qq_38813456的博客
11-24 3551
功能： 计算两个向量之间的相似度，当两个向量之间的距离大于margin，则loss为正，小于margin，loss为0。 y == 1时，x1要比x2大，才不会有loss，反之，y == -1 时，x1要比x2小，才不会有loss。
Triplet Loss, Ranking Loss, Margin Loss
bbbeoy的专栏
08-23 1515
不同于cross entry loss或者MSE等等，他们的目标去表征模型的输出与实际的输出差距是多少。但是ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值。由于在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss. ranking loss 应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。 ranking loss 有非常多的叫法，但是他们的
【深度学习】最全的十九种损失函数汇总
wzk4869的博客
06-27 8702
【深度学习】最全的十九种损失函数汇总
Pytorch
weixin_43466321的博客
09-27 1129
一、动态库链接文件找不到 二、Pytorch的Dataloader报错 三、pytorch bug 四、常用函数功能使用 1.view view（a，b）中第一个参数a代表目标张量的行数，b代表列数，为了简便起见，也可以只指定第一个参数a，b这个参数设置成-1，函数会自动计算对应的列数。 import torch number_1 = torch.rand...
nn.TripletMarginLoss 和 nn.MarginRankingLoss
weixin_43102043的博客
09-24 670
triplet loss
PyTorch各种损失函数解析：深度学习模型优化的关键（2）
最新发布
CDBmax的博客
01-18 1224
本文提供了对 PyTorch 中多种损失函数（Loss functions）的详细解析，包括其用途、使用方法、重要注意事项和数学理论公式。这些损失函数涵盖了从回归问题（如mse_loss和huber_loss），多标签分类（如和），到复杂的相似度学习（如和）等多种机器学习任务。每种损失函数都有其特定的应用场景和优化目标，例如mse_loss用于计算预测值和真实值之间的均方误差，适合于回归任务；而则用于学习数据点之间的相似度，常用于特征嵌入和相似度学习。
[PinSage] Graph Convolutional Neural Networks for Web-Scale Recommender Systems 论文详解KDD2018
知行合一，止于至善
09-18 4889
文章目录摘要1 简介1.1 背景介绍1.2 推荐系统评测指标2 相关研究3 方法3.1 Problem Setup3.2 Model ArchitectureForward propagation algorithmImportance-based neighborhoodStacking convolutions 堆叠卷积层3.3 Model Training 模型训练Loss function...
Unsupervised Contrastive Cross-Modal Hashing
薛定谔的猫的博客
06-13 567
本文主要研究了如何通过克服两个挑战，使无监督跨模态哈希（CMH）从对比学习（CL）中受益。确切来说，1）为了解决哈希二值优化导致的性能下降问题，我们提出了一种新的，该优化器在CL中执行可学习的哈希运算，从而使现有的深度跨模态哈希成为可能。换句话说，我们的方法不像现有的大多数方法那样涉及二值连续松弛，因此具有更好的检索性能。2）为了减轻假负对（FNP）带来的影响【FNP指的是被错误地视为负对的类内对】，提出了一种，它利用了所有对而不是仅对困难负对的区分。
解决margin塌陷的问题_机器学习入门 119 SVM思想解决回归问题
weixin_34184847的博客
01-05 285
你对人人都喜欢，也就是说，你对人人都漠然。--王尔德全文字数：1495字阅读时间：9分钟前言本系列是《玩转机器学习教程》一个整理的视频笔记。本小节简单介绍如何使用支撑向量机的思想来解决回归问题，最后通过sklearn封装好的LinearSVR类实现波士顿房价的预测。a SVM的思想解决回归问题回归问题的本质其实就是找到一根直线(或曲线)能够最大程度的拟合样本数据点，不同定义拟合的方式...
04.卷积神经网络（第四周）
missgrass的博客
10-02 182
人脸识别、神经风格迁移 监督学习：实现检测活体 定义：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。也就是说，在监督学习中训练数据既有特征(feature)又有标签(label)，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。 通俗一点，可以把机器学习理解为我们教机器如何做事情。 监督学习的分类：回归(Regression）、分类（Classification) 回归(Regression） 回归问题是针对于
nn.marginrankingloss
03-16
nn.marginrankingloss是PyTorch中的一个损失函数，用于计算两个输入张量之间的margin ranking loss。它通常用于训练二分类模型，其中一个输入张量表示正样本，另一个表示负样本。该损失函数的目标是最小化正样本与负样本之间的距离，同时保持它们与其他样本之间的距离足够大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值