Pytorch损失函数总结

已于 2022-08-29 21:32:54 修改
阅读量243 收藏
点赞数
分类专栏： Pytorch 文章标签： 深度学习 python
于 2022-07-26 20:56:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43526137/article/details/125998408
版权

一. 交叉熵损失函数(CrossEntropyLoss — PyTorch 1.11.0 documentation)

简单谈谈Cross Entropy Loss_时光杂货店的博客-CSDN博客_crossentropyloss

        分类用交叉熵，回归用均方差。

        softmax层是归一化到0~1之间，先通过指数函数，再指数函数求和除以和

        假设预测 3 个类别，总共有a1，a2，a3，b1，b2，b3，c1，c2，c3，共9个目标，a，b，c一共3个类别。

        神经网络有一个输入口，有三个输出口，a1，a2和a3的标签值是（1，0，0）；b1，b2和b3的标签值是（0，1，0）；c1，c2和c3的标签值是（0，0，1）。

        假设给一个目标输入，输出口吐出来3个数（3，6，10）。

此时如何计算损失呢？交叉熵损失这时候就开始起作用了。（不要信网上其他人写的，你这个绝对正确，已经验证）

        这3个数还要经过softmax层，首先计算第一个口的概率p_1 = \frac{e^3}{e^3+e^6+e^9}，再计算第二个口的概率p_2 = \frac{e^6}{e^3+e^6+e^9}，最后计算第三个口的概率p_3 = \frac{e^9}{e^3+e^6+e^9}。

吐出3个概率。

        假设此时输入目标的标签是（0，0，1）。 

        那么这个目标计算出来的交叉熵损失就是：-(0 * log_{2}p_{1}+0 * log_{2}p_{2}+1 * log_{2}p_{3})

在验证的时候还遇到下面的问题

 上面的错误是由于类型错误，改成下面的，注意输入输出维数即可正确，一定要是2维，第0维代表batchsize数，第1维才表示一个目标的输出。

 

 

上面两幅图就是验证了交叉熵损失函数的计算方式如上matlab所示，选择mean方式时，除以batchsize。 

二. BCEWithLogitsLoss和BCELoss

        说一下，我目前对这个函数的体会，这是个啥，我需要什么数据来输入，label和target值怎么传入，这个损失函数适用什么问题？

        

以上是官方文档给的说明，说实话我看得云里雾里

这篇博客剖析得挺仔细的

Pytorch详解BCELoss和BCEWithLogitsLoss_豪哥123的博客-CSDN博客_bcewithlogitsloss

损失函数 | BCE Loss（Binary CrossEntropy Loss）_一颗磐石的博客-CSDN博客_bce损失函数

由此，也让你产生了一个疑问，多标签分类问题是什么意思？ 涉及到softmax

AutoGalaxy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 损失函数总结
jacke121的专栏
09-22 2万+
PyTorch深度学习实战 4　损失函数 损失函数，又叫目标函数，是编译一个神经网络模型必须的两个参数之一。另一个必不可少的参数是优化器。 损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。 上图是一个用来模拟线性方程自动学习的示意图。粗线是真实的线性方程，虚线是迭代过程的示意，w1 是第一次迭代的权重，w2 是...
pytorch 损失函数
qq_40107571的博客
09-01 557
损失函数
pytorch损失函数总结
qq_44489572的博客
10-28 339
pytorch损失函数总结   本文主要介绍了pytorch中的一些损失函数：1. nn.L1Loss 2. nn.SmoothL1Loss 3. nn.MSELoss 4. nn.CrossEntropyLoss 1.nn.L1Loss 1.1 数学表达式 loss⁡(xi,yi)=∣xi−yi∣ \operatorname{loss}\left(x_{i}, y_{i}\right)=\left|x_{i}-y_{i}\right| loss(xi​,yi​)=∣xi​−yi​∣ 1.2
pytorch loss function 总结
yanshuai_tek的博客
12-15 1302
http://blog.csdn.net/zhangxb35/article/details/72464152?utm_source=itdadao&utm_medium=referral
pytorch——损失函数
m0_51311105的博客
02-11 1151
Loss用来做两件事，一是计算实际输出和目标之间的差距，二是为我们反向传播更新数据提供一个依据。首先查看L1Loss函数官方文档： 有两种方式，一个默认的mean，求的是平均值，另一个sum，求的是和： import torch from torch.nn import L1Loss input = torch.tensor([1, 2, 3], dtype=torch.float32) target = torch.tensor([1, 2, 5], dtype=torch.float32
Pytorch损失函数篇
Warmer_Sweeter
10-07 1084
点击关注我哦一篇文章带你了解pytorch中常用的损失函数Q：什么是损失函数？训练神经网络类似于人类的学习方式。我们将数据提供给模型，它可以预测某些内容，并告诉其预测是否正确。然后，模型...
pytorch常用函数手册
03-07
损失函数 - **交叉熵损失**： - `nn.CrossEntropyLoss()`：常用于多分类任务。 - 示例：`loss_fn = nn.CrossEntropyLoss()` - **均方误差损失**： - `nn.MSELoss()`：适用于回归任务。 - 示例：`loss_fn = nn....
pytorch常用内置loss函数与正则化技术（补充小细节）、优化器（optimizer）
最新发布
smalltorch的博客
05-13 1030
本博客主要简要记录一下对pytorch内置损失函数的一些理解和正则化技术在pytorch里面是怎么调用的。这就是本文的内容了，主要是很多细节部分需要记录一下。
python画损失函数图_Pytorch十九种损失函数的使用详解
weixin_39947812的博客
12-08 2905
损失函数通过torch.nn包实现，1 基本用法criterion = LossCriterion() #构造函数有自己的参数loss = criterion(x, y) #调用标准时也有参数2 损失函数2-1 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。torch.nn.L1Loss(reduction='mean')参数：reduction-三个值，none:...
pytorch（一）——损失函数
图像学习之旅
08-23 919
  损失函数，又叫目标函数，是编译一个神经网络模型必须的两个参数之 一。另一个必不可少的参数是优化器。损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。   上图是一个用来模拟线性方程自动学习的示意图。粗线是真实的线性方程，虚线是迭代过程的示意，w1 是第一次迭代的权重，w2 是第二次迭代的权重，w3 是第三次迭代的权重。随着迭代次数的增加，我们的目标是使得 wn 无限接近真实值。，pytorch 中定义了很多类型的预定义损失函数，
Pytorch 的损失函数Loss function使用详解
09-18
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
(三)pytorch中损失函数
qq_23123181的博客
04-11 5848
损失函数可以分为三类：回归损失函数、分类损失函数和排序损失函数 1、L1 loss 计算实际值和预测值之间的绝对值之和的平均值。 y表示标签，pred表示预测值。（回归问题），当目标变量的分布具有异常值时，即与平均值相差很大的值，它被认为对异常值具有很好的鲁棒性。 import torch def lossTest(): input=torch.randn(3,5,requires_grad=True) target=torch.randn(3,5) mae_loss=
PyTorch基础（五）-- 损失函数
CarpeDiem
06-14 6062
这里将列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式和调用代码。当然，PyTorch的损失函数还远不止这些，在解决实际问题的过程中需要进一步探索、借鉴现有工作，或者设计自己的损失函数。...
pytorch损失函数解析
lyy的博客
12-04 2937
目录nn.L1Loss:nn.NLLLoss:nn.CrossEntropyLossnn.MSELossnn.BCELoss: nn.L1Loss: 这个比较简单，没有太多好说的，就是两者做差取绝对值，然后求和取平均。 输入x和目标y之间差的绝对值，要求 x 和 y 的维度要一样（可以是向量或者矩阵），得到的 loss 维度也是对应一样的。 loss(x,y)=1/n∑\sum∑ |x_i-y_i| nn.NLLLoss: nn.NLLLoss是负的似然对数损失，但Pytorch的实现就是把对应tar
Pytorch教程[07]损失函数
YOLOv8项目贡献者
03-12 3290
一.损失函数概念 损失函数（loss function）：衡量模型输出与真实标签的差异 也叫代价函数（cost function）/准则（criterion）/目标函数（objective function）/误差函数（error function） 名字有很多，其实都是一个东西 二.Pytorch内置损失函数 1、nn.CrossEntropyLoss 功能： nn.LogSoftmax ()与nn.NLLLoss ()结合，进行 交叉熵计算 主要参数： • weight：各类别的loss设置权值 • i
pytorch损失函数详解
qq_37844044的博客
09-14 374
目录 nn.L1loss nn.CrossEntropyLoss nn.MSELoss nn.BCELoss nn.L1loss: 两者绝对值作差，然后求和平均loss(x,y)=1/n∑ \sum∑ |x_i-y_i| crite = torch.nn.L1Loss() loss = crite(output, target) nn.CrossEntropyLoss: 这是交叉熵损失函数，常用于分类函数。主要是判断实际输出与期望输出的接近程度。 熵： 是用来衡量混乱程度的表示，代表一个样本中信息量的
Pytorch基础（九）——损失函数
baidu_35536188的博客
12-19 2377
一、概念 损失函数在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。 具体实现过程：在一个批次（batch）前向传播完成后，得到预测值，然后损失函数计算出预测值和真实值之间的差值，反向传播去更新权值和偏置等参数，以降低差值，不断向真实值接近，最终得到效果良好的模型。 常见的损失函数包括：MSE（均方差, 也可以叫L2Loss），Cross Entropy Loss（交叉熵），L1 Loss（L1平均绝对值误差），Smooth L1 Loss(平滑的L1 loss)，BCELoss (Binar
PyTorch 学习笔记（六）：PyTorch的十八个损失函数
热门推荐
人工智能技术学习与分享
04-04 1万+
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 文章目录1.L1loss2.MSELoss3.CrossEntropyLoss4.NLLLoss5.PoissonNLLLoss6.KLDivLoss7.BCELoss8.BCEWithLogitsLoss9.MarginRanking...
pytorch 交叉熵损失函数
09-05
总结起来，Pytorch中的交叉熵损失函数可以用于二分类问题，其中BCELoss适用于预测值是概率的情况，而BCEWithLogitsLoss适用于未经过sigmoid处理的预测值。同时，softmax函数在多分类问题中常与交叉熵损失函数一起...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值