nn.CrossEntropyLoss() 中的参数 label_smoothing

最新推荐文章于 2024-09-20 16:52:43 发布

怎样才能回到过去

最新推荐文章于 2024-09-20 16:52:43 发布

阅读量786

点赞数 1

分类专栏： Pytorch 中的各种函数文章标签： Pytorch Powered by 金山文档

本文链接：https://blog.csdn.net/Z2572862506/article/details/128812726

版权

Pytorch 中的各种函数专栏收录该内容

54 篇文章 1 订阅

订阅专栏

1 label_smoothing 的原理

Label Smoothing也称之为标签平滑，其实是一种防止过拟合的正则化方法。传统的分类loss采用softmax loss，先对全连接层的输出计算softmax，视为各类别的置信度概率，再利用交叉熵计算损失

在这个过程中尽可能使得各样本在正确类别上的输出概率为1，这要使得对应的z值为+∞，这拉大了其与其他类别间的距离

现在假设一个多分类任务标签是[1,0,0]，如果它本身的label的出现了问题，这对模型的伤害是非常大的，因为在训练的过程中强行学习一个非本类的样本，并且让其概率非常高，这会影响对后验概率的估计。并且有时候类与类之间的并不是毫无关联，如果鼓励输出的概率间相差过大，这会导致一定程度上的过拟合。

因此Label Smoothing的想法是让目标不再是one-hot标签，而是变为如下形式

其中ε为一个较小的常数，这使得softmax损失中的概率优目标不再为1和0，同时z值的最优解也不再是正无穷大，而是一个具体的数值。这在一定程度上避免了过拟合，也缓解了错误标签带来的影响

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

怎样才能回到过去

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

torch.nn.CrossEntropyLoss() 参数、计算过程、输入输出形状--loss中y_pred和y形状不一致

MaYuHuaw的博客

12-08

3708

形状问题

深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等

@bangbang的博客

11-19

593

交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。

参与评论您还未登录，请先登录后发表或查看评论

39. 深度学习中的各种tricks_1.0_label_smoothing - 兔角与禅 - CSDN博客1

08-03

深度学习中的各种[ 用于整理遇到的NN设计中使用的不同结构和trick的原理与实现 ]label smoothing （标签平滑）在读cleverhans的示例

【pytorch学习】nn.CrossEntropyLoss，label_smooth

py今天刷题了吗

02-20

673

【代码】【pytorch学习】nn.CrossEntropyLoss，label_smooth。

【Pytorch】大语言模型中的CrossEntropyLoss

最新发布

qq_52852138的博客

09-20

1123

从大语言模型的训练角度理解CrossEntropyLoss

CrossEntropyLoss(交叉熵损失函数)和LabelSmoothing(标签平滑)推导和代码

weixin_51603758的博客

08-07

860

CrossEntropyLoss(交叉熵损失函数)和LabelSmoothing(标签平滑)推导和代码

机器视觉 cnn汇总

J_Boom的博客

02-25

486

行为识别 Action_Recognition IDT，TSN，C3D，CDC，R-C3D 目标检测大型网络 MaskRCNN， FCIS，DCNN，DenseNet，DetNet，ResNet， vgg16-SSD， Xception 前文还有： yolov1 v2 v3 darknet / caffe 目标检测小型网络 MobileNet v1 v2 -ssd，Shu...

标签平滑（LabelSmoothing）介绍与代码实现

年少的勇气已经用完，剩下的就是三思而后行

07-20

2114

标签平滑（），像L1、L2和dropout一样，是机器学习领域的一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题。

Pytorch：交叉熵损失(CrossEntropyLoss)以及标签平滑(LabelSmoothing)的实现

weixin_43960370的博客

04-13

1655

一般情况下我们都是直接调用Pytorch自带的交叉熵损失函数计算loss，但涉及到魔改以及优化时，我们需要自己动手实现loss function，在这个过程中如果能对交叉熵损失的代码实现有一定的了解会帮助我们写出更优美的代码。其次是标签平滑这个trick通常简单有效，只需要改改损失函数既可带来性能上的提升，通常与交叉熵配合食用。因此，本文基于这两个出发点，介绍基于Pytorch框架下的交叉熵损失实现以及标签平滑的实现。

LabelSmooth

雄关漫道真如铁而今迈步从头越

07-08

5063

LabelSmooth 一种通过简单修改类别标签实现的分类问题优化方法，整理这个的同时我也明白了为什么使用交叉熵来做分类问题，很有收获。 1−ϵ，i=y1 - \epsilon，i=y1−ϵ，i=y ϵK−1，i≠y\frac{\epsilon}{K-1}，i \not= yK−1ϵ，i=y Agile Pioneer Cross Entropy 我们在刻画两个分布间的距离时候经常使用交叉熵，至于为什么使用交叉熵而不是使用均方误差，我之前也有疑问，自从看了大神的论证才豁..

深入浅出PyTorch中的nn.CrossEntropyLoss

⚡

07-04

1968

PyTorch中的交叉熵详解

nn.CrossEntropyLoss()

01-20

用于多分类，直接写标签序号就可以：0,1,2. 预测需要维度与标签长度一致。 import torch import torch.nn as nn import math criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print(网络输出为3个5类:) print(output) print(要计算loss

torch.nn.CrossEntropyLoss()

qq_40107571的博客

01-10

547

torch.nn.CrossEntropyLoss()

ignore_index：交叉熵损失中的ignore_index参数【torch.nn.functional.cross_entropy的ignore_index】【默认-100】

u013250861的博客

07-17

568

因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。label = 1 的损失 = （- ln0.2683 - ln0.3603 ） / 2 = （1.315650 + 1.020818）/2 = 1.168234。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。label = 2 的损失 = - ln0.2552 = 1.365708。

def binary_crossentropy_with_label_smoothing(y_true, y_pred, label_smoothing=0.1): # 计算平滑标签 num_classes = tf.shape(y_true)[-1] smooth_positives = 1.0 - label_smoothing smooth_negatives = label_smoothing / num_classes y_true = y_true * smooth_positives + smooth_negatives # 计算二分类交叉熵损失函数 loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=y_pred, labels=y_true)) return loss

04-23

这是一个函数的定义，函数名为binary_crossentropy_with_label_smoothing，函数有三个参数：y_true、y_pred和label_smoothing。其中，y_true代表真实标签，y_pred代表预测标签，label_smoothing代表标签平滑程度的...

损失函数：交叉熵、KLDivLoss、标签平滑（LabelSmoothing）

FY_2018的博客

08-15

8119

https://blog.csdn.net/qq_36533552/article/details/104034759 KLDivLoss 作用：用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个；公式：公式理解： p(x)是真实分布，q（x）是拟合分布；实际计算时；通常p（x）作为target，只是概率分布；而xn则是把输............

softmax求导、cross-entropy求导及label smoothing

weixin_30314813的博客

07-08

499

softmax求导 softmax层的输出为其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。现在求对的导数，如果j=i，　　1 如果ji，　　2 cross-entropy求导 loss function为对softmax层的输入求导，如下 label smoot...

【深度学习】损失函数系列 (一) 平方损失函数、交叉熵损失函数 (含label_smoothing、ignore_index等内容)

qq_43456016的博客

05-01

2227

在训练分类器时，通常将标签视为单热向量，即只有正确的类别概率为1，其余为0。在标签平滑技术中，将正确标签的概率从 1 降低到 1-ε，同时将错误标签的概率从 0 提高到 ε/（C-1），其中 C 是类别数量。参数用于指定正样本的权重，其作用是在处理类别不平衡问题时对于正样本给予更高的权重，以此来平衡类别的数量。默认情况下，所有的类别都被视为同等重要，即每个类别的权重都为1。是一个长度为类别数的向量，每个元素表示对应类别的权重，当一个类别的权重被设置为大于1的值时，该类别对损失函数的贡献将会变得更加重要。

理论学习：损失函数 | 交叉熵损失函数

llf000000的博客

03-11

973

该标准计算输入 logits 和目标之间的交叉熵损失。

nn.CrossEntropyLoss改进

10-12

对于改进nn.CrossEntropyLoss，可以考虑以下几个方向： 1. Label Smoothing：在训练过程中，将正确标签的概率从1降低到1-ε，将错误标签的概率从0提高到ε/(num_classes-1)，这样可以减少模型对于正确标签的过度自信，提高泛化能力。 2. Focal Loss：在CrossEntropyLoss的基础上，引入一个可调节的超参数γ，将难以分类的样本的权重调大，使得模型更加关注难以分类的样本。 3. Dice Loss：Dice Loss是一种常用于图像分割任务的损失函数，可以通过将其扩展到多分类问题来改进CrossEntropyLoss。Dice Loss可以更好地处理类别不平衡问题。 4. Online Hard Example Mining：在训练过程中，动态地选择一些难以分类的样本进行训练，这样可以提高模型对于难以分类的样本的泛化能力。