Pytroch常用损失函数总结

最新推荐文章于 2024-08-19 23:40:59 发布
最新推荐文章于 2024-08-19 23:40:59 发布
阅读量751 收藏 2
点赞数
分类专栏： 深度学习基础 文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43428929/article/details/125947262
版权

Pytroch自带了很多损失函数，在阅读相关代码时总是只看到一个调用就感到很迷，故在此进行常用的损失函数公式和代码总结。

一、nn.CrossEntropyLoss（）

参考链接：关于pytorch中的CrossEntropyLoss（）的理解

这篇博客用通俗的例子对交叉熵损失进行了计算过程说明。在该函数中先通过softmax函数将得到的类别归一化，然后送入交叉熵损失函数进行处理。看公式感觉输入函数中的预测值和label维度不统一，nn.CrossEntropyLoss()自动将label转化为one-hot形式。

在这里插入图片描述

二、Focal loss

参考链接：focal loss详解

这几篇文章详细介绍了Focal
loss的设计理念是为了使得损失函数专注于这些难分辨的样本上。同时添加了一个系数用来解决类别不平衡问题。三个字不平衡

三、 Dice loss

参考链接：
损失函数 DiceLoss 的 Pytorch 实现

该链接介绍了DiceLoss操作的直观演示，并且包含了多分类如何使用Dice
loss。但是关于分母的处理只给出了直接元素相加的方法，没有给出平方后相加的方法。

在这里插入图片描述

语义分割任务多分类Focal loss与Dice loss pytorch实现\

这篇文章给出了常见的Focal loss和Dice loss的pytorch实现方法。

交叉熵损失 & Dice系数和IOU之间的区别和联系

四、其它常用损失函数总结

参考链接：简单粗暴PyTorch之18个损失函数
该博客简单的介绍了pytroch实现常见的18个损失函数的代码和公式介绍。18个损失函数如下：
1.nn.CrossEntropyLoss
2.nn.NLLLoss
3.nn.BCELoss
4.nn.BCEWithLogitsLoss
5.nn.L1Loss
6.nn.MSELoss
7.nn.SmoothL1Loss
8.nn.PoissonNLLLoss
9.nn.KLDivLoss
10.nn.MarginRankingLoss
11.nn.MultiLabelMarginLoss
12.nn.SoftMarginLoss
13.nn.MultiLabelSoftMarginLoss
14.nn.MultiMarginLoss
15.nn.TripletMarginLoss
16.nn.HingeEmbeddingLoss
17.nn.CosineEmbeddingLoss
18.nn.CTCLoss
其中：

nn.CrossEntropyLoss为nn.LogSoftmax()与nn.NLLLoss()结合，进行 交叉熵计算.
nn.NLLLoss：实现负对数似然函数中的负号功能
nn.BCELoss：二分类交叉熵
BCEWithLogitsLoss：结合Sigmoid与二分类交叉熵

像风一样自由的小周
关注
专栏目录
5.深度学习 ② 常用损失函数 2）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-05 4930
1.Dice Loss
pytorch中的loss函数（2）：SoftMarginLoss
yuxiafan的博客
03-21 7801
SoftMarginLoss针对two-class classification（二分类）问题。 loss计算公式： 其中，； 是pytorch中统计tensor中元素的个数，例如： x = torch.randn(size = (1,3,4,6)) print(x.nelement()) 结果为元素个数1 * 3 * 4 * 6 的函数曲线如图1所示： 当y[i]=...
Focal Loss详解及其pytorch实现
最新发布
weixin_51524504的博客
08-19 1736
易分类样本：模型预测正确的概率较高，即yt\hat{y}_ty​t​较大（通常yt0.5y​t​0.5难分类样本：模型预测正确的概率较低，即yt\hat{y}_ty​t​较小（通常yt0.5y​t​0.5其中yt\hat{y}_ty​t​ytyify11−yotherwisey​t​y​1−y​​ify1otherwise​。
深度学习| Pytorch实现DiseLoss代码
qq_40306845的博客
04-03 1297
多分类Dice Loss代码详解，会解释涉及到Pytorch函数，带你理解代码的每一步。
损失函数 DiceLoss 的 Pytorch 实现
拾贝壳
07-15 1万+
Pytorch 实现 def dice_loss(preds, targets): """ preds: tensor of shape (N, C) targets: tensor of shape (N, C) """ assert preds.shape == targets.shape preds = preds.float() targets = targets.float() numer
【Pytorch】 Dice系数与Dice Loss损失函数实现
lynnhgwang的博客
03-31 2万+
由于Dice系数是图像分割中常用的指标，而在Pytoch中没有官方的实现，下面结合网上的教程进行详细实现。 先来看一个我在网上经常看到的一个版本。 def diceCoeff(pred, gt, smooth=1, activation='sigmoid'): r""" computational formula： dice = (2 * (pred ∩ gt)) ...
记录Dice Loss的几种pytorch实现方式
ODIMAYA的博客
03-30 1万+
复杂版本： import torch from torch import Tensor def dice_coeff(input: Tensor, target: Tensor, reduce_batch_first: bool = False, epsilon=1e-6): # Average of Dice coefficient for all batches, or for a single mask assert input.size() == target.size()
pytorch常用函数手册
03-07
损失函数 - **交叉熵损失**： - `nn.CrossEntropyLoss()`：常用于多分类任务。 - 示例：`loss_fn = nn.CrossEntropyLoss()` - **均方误差损失**： - `nn.MSELoss()`：适用于回归任务。 - 示例：`loss_fn = nn....
Pytorch 的损失函数Loss function使用详解
09-18
在PyTorch中，损失函数（Loss function）是构建神经网络模型的核心部分，它衡量了模型预测输出与实际目标值之间的差距。损失函数的选择直接影响着模型的训练效果和收敛速度。本文将详细介绍几种常见的PyTorch损失...
pytorch 常用损失函数
12-17
PyTorch中常用的损失函数包括回归损失函数和分类损失函数。其中，回归损失函数包括L1Loss和MSELoss，分类损失函数包括CrossEntropyLoss。此外，还有一种常用的平滑L1损失函数，也被称为Huber损失函数。 以下是...
pytorch常用损失函数
06-09
以下是PyTorch中一些常用的损失函数： 1. nn.CrossEntropyLoss：用于多分类问题的交叉熵损失函数。 2. nn.MSELoss：用于回归问题的均方误差损失函数。...这些常用损失函数可以根据不同的任务和模型选择合适的使用。
pytorch-segmentation:在PyTorch中实现的语义分割模型，数据集和损失
05-14
PyTorch中的语义分割 此仓库包含一个PyTorch，用于不同数据集的不同语义分割模型的实现。 要求 在运行脚本之前，需要先安装PyTorch和Torchvision，以及用于数据预处理的PIL和opencv和用于显示培训进度的tqdm 。 支持PyTorch v1.1（使用新的受支持的Tensoboard）； 可以使用更早期的版本，但不要使用tensoboard，而要使用tensoboardX。 pip install -r requirements.txt 或用于本地安装 pip install --user -r requirements.txt 主要特点 清晰易用的结构， 一个json配置文件，可以进行很多参数调整， 支持各种模型，损失，Lr调度程序，数据扩充和数据集， 那么，有什么可用的？ 楷模 （ Deeplab V3 + ）具有Atrous可分离卷积的编解码
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 3992
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
pytorch loss函数整理
darknight
03-03 1087
这时候如果用BCE Loss，图片里的每个像素都要去进行二分类，而绝大部分的像素都是负样本，所以会存在正负样本不平衡的问题。在许多实现中，将预测值 logits 和目标 targets 在计算Dice Loss的过程中除以一个缩放因子（如 1000 或 10000），通常是为了数值稳定性。在二分类问题中，每个样本的标签只有两种可能的状态，通常表示为 0（负类）和 1（正类）。Dice系数是一种用于评估两个集合的相似性的度量函数，取值范围在0到1之间，取值越大表示越相似。起作用，第二部分为 0。
基于PyTorch的损失函数（语义分割）
如果想成为中心，那么就到中心去吧。
02-11 5008
前言 这篇博文为一些常见的损失函数提供了参考，你可以很轻松的导入到代码中。 损失函数定义了神经网络模型如何根据每回合的残差计算总体误差，这反过来又影响它们在进行反向传播时调整系数的方式，因此损失函数的选择直接影响模型的性能。 对于分割和其他分类任务，默认选择的损失函数是二进制交叉熵(BCE)。当一个特定的度量，例如dice系数或IoU，被用来判断模型性能时，竞争对手有时会试验从这些度量派生出的损失...
Pytorch中的CrossEntropyLoss()函数案例解读和结合one-hot编码计算Loss
热门推荐
梦坠凡尘
05-09 3万+
使用Pytorch框架进行深度学习任务，特别是分类任务时，经常会用到如下： import torch.nn as nn criterion = nn.CrossEntropyLoss().cuda() loss = criterion(output, target) 即使用torch.nn.CrossEntropyLoss()作为损失函数。 那nn.CrossEntropyLoss()内部到底是啥？？ nn.CrossEntropyLoss()是torch.nn中包装好的一个类，对应torch.nn.fu
pytorch语义分割中CrossEntropy、FocalLoss和DiceLoss三类损失函数的理解与分析
patience_of_study的博客
02-02 1万+
在语义分割任务中，根据数据的分布情况可选择不同的损失函数对网络输出和标签进行数值运算，以达到较优的训练效果。特别，在数据样本不均衡以及样本难易程度不同时，选择FocalLoss和DiceLoss往往能起到事半功倍的效果。本博客针对CrossEntropy、FocalLoss和DiceLoss三类损失函数进行了如下分析： 1.数据准备 一般来讲，RGB图像数据经过网络过后最终的输出形式为一个四维张量，shape为（batch_size, Num_class, high, width），分别对应batch
【代码实践】focal loss损失函数及其变形原理详细讲解和图像分割实践（含源码）
BluErroR的博客
11-21 7145
Focal loss损失函数的定义和应用，一篇文章给你讲透原理，包含在图像分割领域的代码实践！
交叉熵、Focal Loss以及其Pytorch实现
qq_43428929的博客
06-26 3932
这到底是怎么做到的呢？下调权重是一种技术，它可以减少容易的例子对损失函数的影响，从而使人们更加关注困难的例子。Focal Loss自然地解决了阶级不平衡的问题，(1因为来自多数类别的例子通常容易预测，而来自少数类别的例子由于缺乏数据或来自多数类别的例子在损失和梯度过程中占主导地位而难以预测。Focal loss关注的是模型出错的例子，而不是它可以自信地预测的例子，确保对困难的例子的预测随着时间的推移而改善，而不是对容易的例子变得过于自信。不同损失函数有着不同的约束作用，不同的数据对损失函数有着不同的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值