损失函数-交叉熵的原理及实现

已于 2023-04-04 13:18:08 修改
阅读量225 收藏
点赞数
分类专栏： 目标识别/语义分割 文章标签： python 深度学习 pytorch
于 2022-07-26 11:47:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41413211/article/details/125944154
版权
本文介绍了损失函数的作用，探讨了常用的损失函数，尤其是交叉熵损失函数。在二分类和多分类问题中，交叉熵作为评估标准能有效解决模型训练初期学习速度慢的问题。通过PyTorch实现交叉熵损失，并讨论了Focal Loss，一种针对类别不平衡问题的改进版交叉熵损失，强调了其对少数类错误分类的加大惩罚。
摘要由CSDN通过智能技术生成

咕咕咕~不催不更

什么是损失函数，损失函数的作用是？

有哪些常用的损失函数？数学表达式是什么？

 为什么需要MSE, 交叉熵：

  • classification error在一些情况下不能区分模型优劣
  • 在分类问题中，使用sigmoid/softmx得到概率，配合MSE损失函数时，采用梯度下降法进行学习时，会出现模型一开始训练时，学习速率非常慢的情况

损失函数｜交叉熵损失函数 - 知乎 (zhihu.com)

实现

交叉熵的原理

假设是二分类问题，交叉熵公式如下：

 ​

其中，y表示样本标签，y=1表示为正类，p表示预测为正类的概率

了解本专栏 订阅专栏 解锁全文
坠金
关注
专栏目录
订阅专栏
交叉熵原理及实现
qq_41413211的博客
07-25 508
代码】交叉熵原理及实现。
实操教程｜Pytorch常用损失函数拆解
zandaoguang的博客
01-07 646
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者 | 小新来源 | https://lhyxx.top编辑 | 极市平台导读本文从理论和实践两方面来全面梳理一...
PyTorch 常用的损失函数(目标函数)介绍
weixin_43276033的博客
04-29 1080
损失函数（目标函数），在机器学习中计算真实值和目标值之间的差异。Pytorch 中定义了大量的目标函数类，这里简单介绍几种常用的目标函数。
交叉熵损失的代码理解
qq_43733107的博客
11-01 877
交叉熵原理
torch.nn.CrossEntropyLoss()
weixin_61445075的博客
04-14 4782
参考：torch.nn.functional 和 torch.nn 去使用softmax，logsoftmax,crossentropy等的区别_LUQC638的博客-CSDN博客参考：softmax + log = logsoftmax, logsoftmax+ nllloss= crossentropy_LUQC638的博客-CSDN博客import torchimport torch.nn as nnimport torch.nn.functional as F# Example of target
交叉熵损失函数（cross-entropylossfunction）原理及Pytorch代码简介.pdf
06-28
本文将深入探讨交叉熵损失函数的原理，并结合PyTorch库进行代码解释。 首先，我们提到的交叉熵与相对熵（KL散度）密切相关。相对熵是衡量两个概率分布P和Q差异的度量，表示为D(P||Q)，它反映了Q相对于P的不确定性。...
python交叉熵损失函数实现_大话交叉熵损失函数
weixin_39637151的博客
12-08 2148
使用keras进行二分类时，常使用binary_crossentropy作为损失函数。那么它的原理是什么，跟categorical_crossentropy、sparse_categorical_crossentropy有什么区别？在进行文本分类时，如何选择损失函数，有哪些优化损失函数的方式？本文将从原理到实现进行一一介绍。binary_crossentropy原理假设我们想做一个二分类，输入有1...
【深度学习原理】交叉熵损失函数的实现
Bing's Blog
01-03 8886
交叉熵损失函数 一般我们学习交叉熵损失函数是在二元分类情况下： L=−[ylogy^+(1−y)log(1−y^)]L=−[ylog ŷ +(1−y)log (1−ŷ )]L=−[ylogy^​+(1−y)log(1−y^​)] 推而广之，我们可以得到下面这个交叉熵损失函数公式： E=−∑ktklog(yk) E=-\sum_k{t_k}log(y_k) E=−k∑​tk​log(yk​) 从...
cross_entropy中ignore——index
weixin_44523062的博客
05-21 3461
官方文档 https://pytorch.org/docs/master/nn.functional.html#torch.nn.functional.cross_entropy 作用 ignore_index用于忽略ground-truth中某些不需要参与计算的类。假设有两类...
PyTorch-损失函数-CrossEntropyLoss
花开花落，人走茶凉
07-03 7622
将 input 经过 softmax 激活函数之后，再计算其与 target 的交叉熵损失。阅读源码可以发现，该方法将 log_softmax 和 nll_loss 进行了结合 class CrossEntropyLoss(_WeightedLoss): def __init__(self, weight=None, size_average=None, ignore_index=-...
pytorch代码个人心得
杨燕丹的博客
10-30 1127
#1 nn.crossentropyloss()类包含两步函数: log_softmax和nllloss,(log-likelihood loss), 后者没有log步骤。 如果loss只想要交叉熵，不要softmax步骤，可以在网络最后加上nn.softmax层，以及torch.log()函数进行输出，训练的loss使用nn.NLLLoss()类。 #2 torch.log()等运算不需...
pytorch的损失函数总结
qq_26108393的博客
01-12 1738
最近在学习DL相关的一些论文，想要用pytorch复现一些算法，发现pytorch中内置了许多损失函数。虽说这些东西都可以自己实现，但是本着尽量避免造轮子的原则，还是希望能够在可以调用现有的接口时直接调用他们。 在试图使用时发现，这里面存在一些不大不小的坑。因此，在这里对pytorch中的这些损失函数做个总结，方便自己和他人学习和使用。 （我用的是python 3.6.8， pytorch版本号为1.1.0） 预计会总结以下内容，在工作中需要用到或者业余看论文和coding时遇到相关的东西时慢慢.
Pytorch学习笔记（深度之眼）（7）之损失函数
liuyu的博客
12-29 470
1.损失函数概念 现在了解一下Pytorch中的Loss： class _loss(Module): def __init__(self, size_average=None, reduce=None, reduction='mean'): super(_loss,self).__init__() if size_average is not None or reduce is not None: self.reduction = _Reduc
CrossEntropyLoss函数，里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数
zz2230633069的博客
05-24 2445
对于单样本：其中lable是一个数字（最小为0最大为C-1）代表x属于哪一类，y是lable的one hot 编码。 举例：x是一个4分类的一个样本: x=[1, 33.1, 77.02, 3.78]，label=2，y=[0,0,1,0]，这里C=4 对于多样本： 举例：X=[ [1, 2.22, 3.35, 4], [5, 6, 7.2, 8] ]，target=[1,0]，Y=[ ...
18种损失函数全详解及其PyTorch实现与机制
热门推荐
nstarLDS的博客
03-09 1万+
文章目录基础概念损失函数(Loss Function)代价函数(Cost Function)目标函数(Objective Function)PyTorch实现与机制nn.CrossEntropyLoss功能与使用数学原理信息熵相对熵（KL散度）交叉熵使用实例nn.NLLLoss()功能与使用数学原理nn.BCELoss()功能与使用数学原理nn.BCEWithLogitsLoss()nn.L1Lo...
PyTorch踩过的12坑 | CSDN博文精选
喜欢打酱油的老鸟
11-19 621
2019-11-12 18:35:19 作者 | hyk_1996 来源 | CSDN博客 1. nn.Module.cuda 和 Tensor.cuda 的作用效果差异 无论是对于模型还是数据，cuda函数都能实现从CPU到GPU的内存迁移，但是他们的作用效果有所不同。 对于nn.Module: model = model.cuda model.cuda 上面两句能够达...
Pytorch —— 损失函数（一）
然后就去远行
06-14 1694
1、损失函数概念 损失函数：衡量模型输出与真实标签的差异； 上图是一个一元线性回归的拟合过程，绿色的点是训练的样本，蓝色的直线是训练好的模型。这个模型没有很好地拟合所有的数据点，也就是说，每个数据点并没有都在模型上，所以数据点会产生Loss。 现在我们认识一下什么是损失函数、代价函数、目标函数： 损失函数（Loss Function）Loss=f(y^,y)Loss=f(\hat{y},y)Loss=f(y^​,y)这是计算一个样本的损失； 代价函数（Cost Function）cos⁡t=1N∑iNf(
交叉熵损失函数原理公式
最新发布
05-02
交叉熵损失函数是深度学习中常用的一种损失函数，它可以用于衡量模型输出与真实标签之间的差距。其原理公式如下： $H(p,q) = -\sum_{x}p(x)\log q(x)$ 其中，$p(x)$表示真实标签的分布，$q(x)$表示模型输出的分布。交叉熵损失函数可以看作是真实标签分布$p(x)$和模型输出分布$q(x)$之间的距离，当两个分布越接近时，交叉熵值越小。 在深度学习中，通常使用交叉熵损失函数作为分类问题中的损失函数，可以帮助模型更好地拟合训练数据，提高模型的分类准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坠金

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值