softmax与sigmoid与交叉熵损失函数

已于 2022-05-14 17:36:26 修改
阅读量594 收藏 2
点赞数
分类专栏： 机器学习混淆点 文章标签： 深度学习 机器学习 人工智能
于 2022-05-14 16:09:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_41923143/article/details/124769362
版权

softmax与sigmoid
引用文章
如上图所示
如上图所示，不同之处： softmax的输出是一个比重，每个输出相加和为1。而sigmoid是将每一个输出做一个非线性映射而已。相同之处： softmax与sigmoid的输出值的大小范围都是[0,1]。

区别就在于softmax是一个针对输出结果归一化的过程，所以很多文献里也称作softmax层；而sigmoid只是一个非线性激活过程，所以一般称为激活函数，多用于二分类。
二者公式上也并不是直接归一化的关系：
softmax的计算公式为：
在这里插入图片描述
sigmoid的计算公式为：
在这里插入图片描述
交叉熵损失函数（CrossEntropy Loss）

二分类的交叉熵损失函数 --y为标签，y^为对应标签的预测概率
在这里插入图片描述多分类的交叉熵损失函数
在这里插入图片描述

我是小白233
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow中常用交叉熵损失函数(cross_entropy)的比较总结与代码示例
01-20
本文将对以下几种tensorflow中常用的交叉熵损失函数进行比较： tf.losses.sigmoid_cross_entropy tf.nn.sigmoid_cross_entropy_with_logits tf.losses.softmax_cross_entropy tf.nn.softmax_cross_entropy_with_logits_v2 tf.losses.sparse_softmax_cross_entropy 1. tf.losses.sigmoid_cross_entropy import tensorflow as tf batch_size = 4
caffe 加权交叉熵损失函数 SigmoidCrossEntropyLoss
12-24
论文中"Holistically-Nested Edge Detection"使用的加权损失函数，具体用法见博客http://blog.csdn.net/majinlei121/article/details/78884531
Softmax函数原理及Python实现过程解析
01-20
Softmax原理 Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。 对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式为： 对于k维向量z来说，其中zi∈R，我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。 常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。 Softmax性质 输入向量x加上一个常数c后求softmax结算结果不变，即: 我们使用s
sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程
PuJiang-的博客
08-23 2792
交叉熵损失函数、MSE、二分类、多分类
sigmoid 和softmax的区别
virus111222的博客
03-20 918
但有一个问题，在我们学习数学的分类问题的时候，是不是讲过所有类别概率之和应该是1，sigmoid就做不到这一点，，三个类别的概率可能是0.6，0.9，0.8，都偏高，虽然知道最后计算结果应该是第二类，但是类别之间并没有拉开距离，不利于模型的训练。sigmoid做二分类最后的输出是一个神经元，这个神经元是0-1之间的数，用一个神经元就可以表示是或者不是，，，，softmax的二分类最后的输出是两个神经元，原因在于它需要计算。sigmoid本身是用来做激活函数的，并不是用来做分类的。过程，所以一般称为激活。
交叉熵和softmax函数和sigmoid函数（在二分类中的比较）
orangerfun的博客
03-02 5174
1. 求交叉熵的步骤 1.将标签进行one_hot编码 2.神经网络输出后接softmax层，即预测值取softmax输出来进行交叉熵计算 3.使用交叉熵公式计算： H(y(i),y^(i))=−∑j=1qyj(i)log⁡y^j(i) H\left( \boldsymbol{y}^{\left( i \right)},\boldsymbol{\hat{y}}^{\left( i \right)}...
详解softmax和sigmoid
CFH1021的博客
03-13 2553
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
交叉熵损失函数详解
热门推荐
youhuakongzhi的博客
06-12 7万+
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。 Sigmoid 函数的表达式和图形如下所示： 其中 s 是模型上一层的输出...
交叉熵损失函数
The Thinker
08-01 1512
1. 交叉熵 交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。从数学角度上看，假设有两个概率分布，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，交叉熵是用非真实分布q来表示某个事件发生所需要的平均比特数。 假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布，上式表示采用非真实分布q来表示真实分布...
【NLP】
zkq_1986的博客
05-09 261
序 交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？ 本次记录一下二者的不同。 两种形式 这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样呢？ 因为这两个交叉熵损失函数对应不同的最后一层的输出： 第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid。 信息论中的...
tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits() -
08-03
一、sigmoid交叉熵 二、softmax交叉熵 三、sparse_softmax交叉熵 四、weighted交叉熵
自信息量-信息熵-KL散度-交叉熵损失.pdf
12-30
详解交叉熵损失函数及Softmax激活函数Sigmoid激活函数在深度学习二分类/多分类任务中的应用
Neural-Network:mnist.pkl数据集的源码，并做了一些改进：反向传播由循环计算转换矢量化计算来大大提高速度； Sigmoid，cos，tanh等多个激活函数，同时也可以选择二次代价函数或交叉熵代价函数
03-24
神经网络编译环境：python3由数据集mnist.pkl的源码修改而来中间层的激活函数可以选为Sigmoid，cos，tanh，ReLU，输出层的激活函数为softmax代价函数可以选为二次代价函数和交叉熵代价函数最后保存权重w和重置b
Python实现基于BERT模型的中文文本情感分类项目源码+全部数据（毕业设计）.zip
最新发布
04-24
可以选择使用Softmax、Sigmoid等激活函数，根据你的任务需求进行选择。 训练模型：定义损失函数和优化器，并使用训练数据集对模型进行训练。可以使用交叉熵损失函数和Adam优化器进行训练。在训练过程中，可以设置...
【深度学习】softmax和交叉熵的配合求导
Dong_ZH的博客
03-02 7845
在分类问题中，尤其是在神经网络中，交叉熵函数非常常见。因为经常涉及到分类问题，需要计算各类别的概率，所以交叉熵损失函数又都是与sigmoid函数或者softmax函数成对出现。
sigmoid和softmax区别
m0_58969225的博客
10-16 1036
sigmoid和softmax区别
softmax、以及与sigmoid的比较
weixin_44059001的博客
10-12 543
softmax是什么？ softmax用于多分类过程中，将多个神经元的输出，映射到(0,1)范围内，且这些映射值的总和为1，相当于概率值。 假设某神经网络输出层，共有个元素，其中第i个元素值为，则该元素对应的softmax值为： softmax与sigmoid的区别： sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1 softmax函数的输出值相互关联，其概率的总和始终为1，因此，在softmax函数中，为增大某一类别的概率，其他类别的概率必须相应减少 所以
softmax和sigmoid的异同
薰珞婷紫小亭子的博客
09-18 878
softmax和sigmoid的异同 1. Sigmoid函数 Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。 优点：1. Sigmoid函数的输出在(0,1)之间，输出范围有限，优化稳定，可以用作输出层。2. 连续函数，便于求导。 缺点：1. 最明显的就是饱和性，从上图也不难看出其两侧导数逐渐趋近于0，容易造成梯度消失。2.激活函数的偏移现象。Sigmoid函数的输出值均大于0，
Sigmoid和Softmax的区别和联系
python_plus的博客
03-27 1791
本文介绍了Softmax函数和Sigmoid函数在二分类和多分类问题中的联系与区别，并结合代码，做了可视化展示
softmax 回归模型与Sigmoid区别
08-05
4. 损失函数：在训练过程中，softmax回归模型通常使用交叉熵损失函数来最小化模型输出概率与真实标签之间的差异。而Sigmoid函数通常使用对数损失函数（也称为二元交叉熵损失函数）。 总结起来，softmax回归模型适用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值