softmax交叉熵为什么要取-log

最新推荐文章于 2022-07-25 17:37:13 发布
最新推荐文章于 2022-07-25 17:37:13 发布
阅读量3k 收藏 5
点赞数 4
分类专栏： 深度学习 文章标签： 交叉熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LEILEI18A/article/details/101284481
版权

                                                              softmax交叉熵为什么要取"-log"

#######################################################################################

如图：-log是递减函数，对应着 错误越大包含信息越多，越正确包含信息越少，所以给错的比例越大。

而softmax之后，全部在【0，1】之间，越接近1，比例接近0；越接近0，比例无限大。从而可以学习正确的东西。

 

 

 

 

 

 

 

 

 

 

 

 

LEILEI18A
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
熵为什么使用log？
xian0710830114的专栏
12-03 2276
首先，信息也是物理量，就像质量kg，我们测量质量的方法是，我们选择一个参照物，把这个物体的质量定义为1kg，当想要测量其它物体的质量时就看这个这个物体的质量相当于多少个参照物的质量，这里的多少个便是kg。 上图中待测物体的质量m等于参照物体的质量B乘以参照物体的个数n，所以当知道总质量m要求个数n时，我们用乘法的反函数，既除法来计算。 但是测量信息时，不能用除法，比如抛掷3枚硬币能够产生的结果是2的3次方=8种，而不是2*3=6种，是指数关系而...
交叉熵损失函数和似然估计_LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）...
weixin_42315824的博客
01-14 655
去今日头条面试没有答上来，回来自己想了想，查了查，把解释写出来，不一定合理。首先，逻辑回归是一个概率模型，不管x取什么值，最后模型的输出也是固定在(0,1)之间，这样就可以代表x取某个值时y是1的概率这里边的参数就是θ，我们估计参数的时候常用的就是极大似然估计，为什么呢？可以这么考虑比如有n个x，xi对应yi=1的概率是pi，yi=0的概率是1-pi，当参数θ取什么值最合适呢，可以考虑n个x中对应...
为啥要有logsoftmax？ Log-Sum-Exp Trick
心之所向
06-23 749
关于LogSumExp The Log-Sum-Exp Trick
[机器学习基础]为什么要使用 softmax 和 交叉熵 ?
weixin_44834206的博客
03-22 1224
通过数学推导来解释 为什么我们要使用 交叉熵 和 softmax
交叉熵损失函数
Lian_Ge_Blog的博客
07-25 2108
交叉熵函数公式推导以及分类问题使用交叉熵损失函数而不是使用MSE的原因对比
PyTorch的SoftMax交叉熵损失和梯度用法
09-18
SoftMax函数是一种将向量转换为概率分布的方法，确保所有元素的和为1，而交叉熵损失则是衡量预测概率分布与真实标签之间差异的指标。 首先，SoftMax函数的数学表达式为： \[ \text{SoftMax}(z_i) = \frac{e^{z_i}}{...
交叉熵损失函数（cross-entropylossfunction）原理及Pytorch代码简介.pdf
最新发布
06-28
在二分类问题中，如果一个事件只可能有两种情况（如正确或错误），交叉熵可以简化为： \[ H(p, q) = -[p \log q + (1-p) \log (1-q)] \] 在多分类问题中，例如上述的三分类问题，我们可以计算每个类别的交叉熵，...
python编写softmax函数、交叉熵函数实例
09-16
下面将详细介绍这两个函数以及为什么在分类任务中选择交叉熵作为损失函数。 首先，softmax函数是一种将任意实数值向量转换为概率分布的方法。它通过将每个元素指数化然后除以所有元素的总和来实现这一目标。在...
交叉熵损失函数原理详解
01-06
只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从...
softmax输出向量的计算过程以及log_softmax的优势
吉米_王
05-21 2604
说明：本文部分文本参考知乎博主chuang的一篇文章 softmax 计算过程如图所示： logsoftmax 而logsoftmax无非是在softmax的结果至上进行log操作，即log（yi），输出结果均为负数； 值域范围在（0， 1）之间如图所示：（随便画的有点丑） 重点： log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。 如上图所示： softmax会进行指数操作，当上一层的输出，也就是softmax的输入.
log_softmax与softmax区别
studyvcmfc的专栏
06-07 782
log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性
【数学】分析log与熵的常见知识盲点
h
05-08 1406
介绍log与熵的常见知识盲点。重点在为什么使用log、最小化交叉熵损失
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 3886
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别
qq_43391414的博客
07-02 8978
1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。 例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(
log_softmax与softmax
qq_43183860的博客
04-02 5783
Softmax Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： Softmax⁡(zi)=exp⁡(zi)∑jexp⁡(zj)\operatorname{Softmax}\left(\boldsymbol{z}_{i}\right)=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}Softmax(zi..
log softmax的梯度求解 （Gradient of log(softmax) )
苏冉旭的专栏
04-09 2058
背景 DNN分类任务中，有两个相似的常见的损失函数： 1）二分类：-log(sigmoid(x))， 其等价于softplus(-x)，曲线比较直观，比较好理解。-- 《Deep Learning Book》中有较为详细的推导和曲线图，这里不复述。 2）多分类：cross_entropy(softmax(x))，或-log(softmax(x))； 但这个函数不好画曲线，很少有资料描述它的梯...
基础算法：交叉熵损失函数
weixin_48186491的博客
10-10 351
改进方法论文：”随机优化的改进交叉熵方法“，DOI：10.13700/j.bh.1001-5965.2017.0017 交叉熵主要用于度量两个概率分布之间的差异性。 信息量 设某一个事件发生的概率为????(????)，则信息量表示为????????=−log⁡(????(????))，I(x)表示信息量，log是以e为底的自然对数。 信息熵 用来表示所有信息量的希望，公式：（X表示一个离散型的随机变量）????????=−????=1????????????????log⁡(??????????
loss函数取对数的作用和意义
08-19 1511
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 1. 缩小数据的绝对数值，方便计算。 例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 2. 取对数后，可以将乘法计算转换称加法计算。 3. 某些情况下，在数据的整个值域中的在不同区间的差异带来的影响不同。例如，
交叉熵的公式是怎么来的
gt362ll的博客
07-31 4341
交叉熵损失函数是机器学习中一个常见的损失函数，用来衡量目标与预测值之间的差距，看着公式能感觉到确实有种在衡量差距的感觉，但是又说不出为什么有这种作用。下面从信息量-信息熵-交叉熵的步骤来看交叉熵公式的意义。 信息量 信息量是我们能获得未知信息的多少，比如我说周杰伦某天开演唱会，这件事信息量就很小，因为演唱会哪天开已经公布了，这件事发生的概率很大，不用我说你也知道。但是我如果说周杰伦出轨了，这件...
torch.nn.functional.log_softmax(output, dim=-1)
06-09
`torch.nn.functional.log_softmax(output, dim=-1)`是一个PyTorch函数，用于计算指定维度上的log softmax激活函数。具体来说，它将输入张量`output`应用于softmax函数，然后计算对数值。softmax函数将每个输入元素...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值