Pytorch中的损失函数Loss Function

最新推荐文章于 2022-07-03 12:00:56 发布
最新推荐文章于 2022-07-03 12:00:56 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： Pytorch学习 文章标签： 深度学习 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010518385/article/details/104337334
版权

由于Pytorch中使用mini-batch进行计算，因此其损失函数的计算结果会对mini-batch取平均

常见的Pytorch中内置的损失函数有：

nn.L1Loss

计算input与output的差的绝对值，input与output应该是同一维度，得到的loss也是相应维度

1

nn.NLLLoss

Negative Log Likelihood

class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, 
					   reduce=None, reduction='mean')

常用于多分类任务。在NLLLoss输入input之前，我们需要对input进行log_softmax处理(即将input转换成概率分布的形式，并且取对数，底数为e)

计算公式

loss(input, class) = -input[class]

NLLLoss中如果传递了weight参数，会对损失进行加权，公式就变成了

loss(input, class) = -weight[class] * input[class]

nn.MSELoss

Mean Square Error

计算input与ouput之间的均方差

2

nn.CrossEntropyLoss

多分类用的交叉熵损失合函数，将LogSoftMax和nn.NLLLoss集成到一个类中，nn.CrossEntropyLoss可以自动对input进行logSoftMax操作，可以理解为CrossEntropyLoss()=log_softmax() + NLLLoss()

3

传入weight参数后

4

一般多分类的情况会使用这个损失函数

nn.BCELoss

Binary Cross Entropy

计算input与output之间的二进制交叉熵

5

添加weight后

6

用的时候需要在该层前面加上 Sigmoid 函数

Tiiktak
关注
专栏目录
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
weixin_39575502的博客
12-08 5128
1.损失函数损失函数，又叫目标函数，是编译一个神经网络模型必须的两个要素之一。另一个必不可少的要素是优化器。损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。损失Loss必须是标量，因为向量无法比较大小(向量本身需要通过范数等标量来比较)。损失函数一般分为4种，平方损失函数，对数损失函数，HingeLoss 0-1 损失函数...
pytorch系列12 --pytorch自定义损失函数custom loss function
墨流觞的博客
11-15 5万+
本文主要内容： nn.Module 和 nn.Functional 区别和联系 自定义损失函数 1. 关于nn.Module与nn.Functional的区别： https://discuss.pytorch.org/t/whats-the-difference-between-torch-nn-functional-and-torch-nn/681 https://www.zhihu.co...
Pytorch中torch.nn的损失函数
12-21
目录 前言 一、torch.nn.BCELoss(weight=None, size_average=True) 二、nn.BCEWithLogitsLoss(weight=None, size_average=True) 三、torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True) 四、总结 前言 最近使用Pytorch做多标签分类任务，遇到了一些损失函数的问题，因为经常会忘记（好记性不如烂笔头囧rz），都是现学现用，所以自己写了一些代码探究一下，并在此记录，如果以后还遇到其他损失函数，继续在此补充。 如果有兴趣，我建
pytorch中的损失函数
weixin_42984932的博客
05-14 153
torch.nn中的loss function （公式都来源于源码） 持续更新… CrossEntrophyLoss： 源码中的公式有三种表述： loss(x,class)=−log⁡(exp⁡(x[class])∑jexp⁡(x[j]))=−x[class]+log⁡(∑jexp⁡(x[j]))\text{loss}(x, class) = -\log\left(\frac{\exp(x[class])}{\sum_j \exp(x[j])}\right) =
PyTorch 中的损失函数总结
梦家の博客
12-31 831
原文地址：https://dreamhomes.github.io/posts/202012261041.html 文章目录原文地址：[https://dreamhomes.github.io/posts/202012261041.html](https://dreamhomes.github.io/posts/202012261041.html)L1Loss实例代码验证代码MSELoss(L2Loss)实例代码验证代码SmoothL1Loss实例代码NLLLoss实例代码验证代码CrossEntropy.
Pytorch损失函数(Loss Function)
qq_41190856的博客
07-28 1228
损失函数(Loss Function) 损失函数（loss function）是用来估量模型的预测值(我们例子中的output)与真实值（例子中的y_train）的不一致程度，它是一个非负实值函数,损失函数越小，模型的鲁棒性就越好。 我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降的优化算法，使得损失函数越来越小。损失函数越小就表示算法达到意义上的最优。 这里有一个重点：因为PyTorch...
Pytorch学习之十九种损失函数
热门推荐
mingo_敏
01-01 6万+
损失函数通过torch.nn包实现， 1 基本用法 criterion = LossCriterion() #构造函数有自己的参数 loss = criterion(x, y) #调用标准时也有参数 2 损失函数 2-1 L1范数损失 L1Loss torch.nn.L1Loss(size_average=True) 2-2 均方误差损失 MSELoss torch.nn.MSELoss(siz...
PyTorch 10大常用损失函数Loss Function详解
Cynthialy_的博客
04-13 1万+
目录 前言 一、损失函数 二、详解 1.回归损失 2.分类损失 三. 总结 前言 一、损失函数介绍 二、详解 1.L1 Loss 2. L2 Loss 3. Cross-Entropy Loss 4. Hinge Embedding Loss 5. NLL Loss 6.Margin Ranking Loss 7.KL Divergence Loss 8.Triplet Margin loss 总结 前言 损失函数在...
【深度学习】一文看尽Pytorch之十九种损失函数
fengdu78的博客
07-03 3325
仅作学术分享，不代表本公众号立场，侵权联系删除转载于：作者：mingo_敏原文链接：https://blog.csdn.net/shanglianlm/article/details/85019768导读本文汇总了十九种损失函数，介绍了其数学公式和代码实现方式，希望大家可以熟练掌握。01基本用法criterion = LossCriterion() #构造函数有自己的参数...
Pytorch中accuracy和loss的计算知识点总结
09-18
在本片文章里小编给大家整理的是关于Pytorch中accuracy和loss的计算相关知识点内容，有需要的朋友们可以学习下。
pytorch应用（五）Loss function
weixin_41680653的博客
06-29 671
很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数，需要解释一下。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。 如果 reduce = False，返回维度为 (batch_size, ) 的向量，input和output的element wise求loss，此时size_a...
Loss function（Cost Function）SVM softmax pytorch函数解析
鹿鹿的博客
05-29 1863
SVM and Softmax 当评分函数输出结果与真实结果之间差异越大，损失函数输出越大，反之越小。 SVM Loss function hinge loss （折叶损失） 假设有3个分类，并且得到了分值s=[13,-7,11]。其中第一个类别是正确类别，即yi=0。同时假设是10。 =0+8=8 L2-SVM（平方折叶损失SVM） 我们对于预测训练集数据分类标签的情况总有一些不满意的，...
Pytorch之loss（损失函数）
记录学习的小白
04-18 6057
损失函数也在torch.nn下，具体可以参考文档，也可以参考官网 先根据L1Loss举例 我个人感觉这里的描述还是到官网的文档找比较好，公式看的比文档清楚 import torch from torch import nn inputs = torch.tensor([[3, 2, 1],[1, 2, 3]], dtype=torch.float32) target = torch.tensor([[1, 2, 1],[1, 2, 4]], dtype=torch.float32) l
pytorch的各种loss
猫猫与橙子的博客
03-15 7668
总计学习一下pytorch的各种loss函数： 目录 1.L1 loss 2.MSE Loss 3.CrossEntropy Loss 4.NLL Loss 5.Poisson Loss 6.KLDiv Loss 7.BCELoss 8.BCEwithLogitsLoss 9.MarginRanking Loss 10.HingeEmbeddingLoss 11.Multi...
Pytorch基础（九）——损失函数
baidu_35536188的博客
12-19 2390
一、概念 损失函数在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。 具体实现过程：在一个批次（batch）前向传播完成后，得到预测值，然后损失函数计算出预测值和真实值之间的差值，反向传播去更新权值和偏置等参数，以降低差值，不断向真实值接近，最终得到效果良好的模型。 常见的损失函数包括：MSE（均方差, 也可以叫L2Loss），Cross Entropy Loss（交叉熵），L1 Loss（L1平均绝对值误差），Smooth L1 Loss(平滑的L1 loss)，BCELoss (Binar
PyTorch基础（五）-- 损失函数
CarpeDiem
06-14 6083
这里将列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式和调用代码。当然，PyTorch的损失函数还远不止这些，在解决实际问题的过程中需要进一步探索、借鉴现有工作，或者设计自己的损失函数。...
pytorch accuracy和Loss 的计算
weixin_51396863的博客
05-07 1万+
最近学习代码时发现当自己去实现代码的时候对于样本的Loss和accuracy的计算很不理解，看别人的代码也是靠猜测，所以自己去官方文档学习加上自己做了个小实验以及搜索了别人的博客，总是算明白了怎么回事，所以打算写下来记录（纯粹记录，无参考意义） accuracy 计算 关于accuracy的计算：acc=正确个数 / 样本总数我们知道，经过模型的输出的最后的一个结果是通过一个softmax算法的出来的，也就是说，输出的给过给出了这个模型对于每个类别的概率预测（且所有概率相加等于1），概率最大的类别也就是.
pytorch 损失函数详解及自定义方法
andyL_05的博客
12-30 4276
pytorch 损失函数详解及自定义方法 损失函数是机器学习与深度学习解决问题中非常重要的一部分，可以说，损失函数给出了问题的定义，也就是需要优化的目标：怎么样可以认为这个模型是否够好、怎样可以认为当前训练是否有效等。 pytorch框架上手十分方便，也为我们定义了很多常用的损失函数。当然，面对特殊的应用场景或实际问题，往往也需要自行定义损失函数。 本文首先介绍如何自定义损失函数，再选择一些常用或...
pytorch的损失函数loss function接口介绍
最新发布
09-02
在PyTorch中，常用的损失函数接口包括： 1. nn.L1Loss：计算预测值与真实值之间的绝对值差的平均值，也称为平均绝对值误差（MAE）损失函数。 2. nn.MSELoss：计算预测值与真实值之间的平方差的平均值，也称为均方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值