MxNet学习笔记(2)-softmax和log_softmax的区别、CrossEntropyLoss()与NLLLoss()的区别、Log似然代价函数

最新推荐文章于 2024-06-09 09:56:07 发布
最新推荐文章于 2024-06-09 09:56:07 发布
阅读量1.3k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaomifanhxx/article/details/85917258
版权

1  softmax

函数Softmax(x)是一个non-linearity，但它的特殊之处在于它通常是网络中的一次操作，这是因为它接受了一个实数向量并返回一个概率分布，其定义如下，定义x是一个实数的向量(正数或负数都无所谓，没有限制)。然后，第i个Softmax(x)的组成是

输出是一个概率分布：每个元素都是非负的，并且所有元素的总和都是1

2  log_softmax

在softmax的结果上再做多一次log运算

(效果在查)

3  nn.CrossEntropyLoss()与NLLLoss()

NLLLoss的输入是一个对数概率向量和一个目标标签，它不会为我们计算对数概率。适合网络的最后一层是log_softmax。损失函数nn.CrossEntropyLoss()与NLLLoss()相同。唯一不同的是它为我们去做softmax。

4  Log似然代价函数

其中，ak表示第k个神经元的输出值；yk表示第k个神经元对应的真实值，取值为0或1.实际上，做分类的时候，只有一个yi为1，其他均为0，最终结果是C=-yklogak(ak对应着正确的那一个分类，log默认是e为底，ak在[0,1],当ak最大的时候，C=0），即损失为0。

未完待续

参考博客:

https://blog.csdn.net/hao5335156/article/details/80607732

米小凡
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mxnet_cu90-1.2.0-py2.py3-none-manylinux1_x86_64.whl
11-30
mxnet_cu90-1.2.0-py2.py3-none-manylinux1_x86_64.whl
mxnet_cu101mkl-1.5.0-py2.py3-none-win_amd64.7z.001
11-14
基于CUDA10.1的MXNet框架的wheel,可直接pip安装使用，由于上传资源大小限制，分为2个分卷，这是01分卷，02分卷的地址https://download.csdn.net/download/qq_38891072/11976421
log_softmax与softmax
qq_43183860的博客
04-02 5803
Softmax Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： Softmax⁡(zi)=exp⁡(zi)∑jexp⁡(zj)\operatorname{Softmax}\left(\boldsymbol{z}_{i}\right)=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}Softmax(zi..
深度学习基础（一） —— softmax 及 logsoftmax
热门推荐
04-26 2万+
softmax：重新定义了多层神经网络的输出层（output layer），注意仅和输出层有关系，和其他层无关。 我们知道在神经网络的前馈（feedforward）的过程中，输出层的输入（input）为： zLj=∑kwLjk⋅aL−1k+bLj z_j^L=\sum_{k}w_{jk}^L\cdot a_{k}^{L-1}+b_j^L 在 softmax 的机制中，为获得输出层的输出（也即最终的
深入理解交叉熵损失 CrossEntropyLoss - nn.LogSoftmax
最新发布
flyfish
06-09 607
flyfish
Softmax和Cross-entropy是什么关系？
zandaoguang的博客
06-02 518
公众号关注“视学算法”设为 “星标”，DLCV消息即可送达！来自 |知乎 作者 | 董鑫https://www.zhihu.com/question/294679135/answ...
（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别
qq_43391414的博客
07-02 9218
1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。 例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(
PyPI 官网下载 | mxnet_cu90-1.3.0-1-py2.py3-none-win_amd64.whl
01-06
资源来自pypi官网。 资源全名：mxnet_cu90-1.3.0-1-py2.py3-none-win_amd64.whl
Python库 | mxnet_mkl-1.4.0-cp34-cp34m-macosx_10_11_x86_64.whl
04-01
资源分类：Python库 所属语言：Python 资源全名：mxnet_mkl-1.4.0-cp34-cp34m-macosx_10_11_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | mxnet_mkl-1.3.0-py2.py3-none-manylinux1_x86_64.whl
05-07
资源分类：Python库 所属语言：Python 资源全名：mxnet_mkl-1.3.0-py2.py3-none-manylinux1_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
关于softmax和log_softmax区别与联系
qq_41745284的博客
11-22 1175
softmax的缺点： Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： 试想最后一层的输出向量有三个单元Z=[z1=3、z2=1、z3=-3], 此时做softmax，exp(z1)=20、exp(z2)=2.7、exp(z3)=0.05, 根据公式得到各个单元的概率 ：exp(z1)/∑exp(zi)=0.88 、exp(z1)/∑exp(zi)=0.12、exp(z1)/∑ex
CrossEntropy交叉熵损失函数及softmax函数的理解
qq_44629163的博客
04-22 9553
参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...
Softmax和LogSoftmax（使用过程中的记录）
绿箭薄荷的博客
11-03 5477
Softmax函数常用的用法是指定参数dim （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 LogSoftmax 对softmax的结果进行log，即Log(Softmax(x)) ...
mxnet中自定义loss fuction/ metric
安静会的博客
01-23 8938
mxnet中使用MakeLoss自定义损失函数 mxnet.symbol.MakeLoss(data=None, grad_scale=_Null, valid_thresh=_Null, normalization=_Null, name=None, attr=None, out=None, **kwargs) cross_entropy = label * log(out) +...
pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss
Javis486的专栏
03-19 1万+
softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...
mxnet中的SoftmaxCrossEntropyLoss损失函数
gaussrieman123的博客
08-29 3262
在看mxnet的Loss函数源码的时候，发现SoftmaxCrossEntropyLoss的实现很有意思，记录一下。 SoftmaxCrossEntropyLoss 概念性的东西，可以参考此文 p = softmax({pred}) L = -\sum_i \sum_j {label}_j \log p_{ij} 调用实例如下： import mxnet.gluon.loss as gloss...
深度学习机器学习:softmax和log_softmax区分
老潘的博客
12-05 5211
softmax 函数又称为 normalized exponential function:is a generalization of the logistic function that “squashes” a K-dimensional vector z\mathbf {z} of arbitrary real values to a K-dimensional vector σ(z)\
PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数
zhuiqiuk的专栏
03-20 2916
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hao5335156/article/details/80607732 1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向...
log_softmax与softmax区别
studyvcmfc的专栏
06-07 782
log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性
mxnet-1.9.0+mkl-cp39-cp39-win_amd64.whl在哪下载
06-25
如果您想学习MXNet深度学习框架，建议首先选择MXNet官网上提供的最新版本。同时，您可以在MXNet的GitHub库中找到更多的开源资源和代码示例，帮助您更好地理解和使用该框架。 ### 回答2： mxnet-1.9.0 mkl-cp39-cp...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值