为何sigmoid激活函数要配合sigmoid_cross_entropy_with_logits损失函数使用？

最新推荐文章于 2024-06-30 13:18:32 发布
最新推荐文章于 2024-06-30 13:18:32 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hffhjh111/article/details/88044101
版权

先说答案：

为何sigmoid激活函数要配合sigmoid_cross_entropy_with_logits损失函数使用？ 

为了获得一个凸性的损失函数（就创造了这样一个性质良好的函数（PS:还可导哦））。

鉴于公式画图啥的略微麻烦，我这里直接用糟糕的笔记来说明具体原因。资料来源于斯坦福机器学习教程。

 

一碗风
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
关于交叉熵和sigmoid函数的组合
SparkSnail
08-31 5290
在神经网络的训练中，当使用的激活函数为sigmoid函数时，选择的代价函数一般为交叉熵，而不是二次代价函数。 原因如下： 二次代价函数公式： 其中c代表代价函数，x代表样本，y代表实际值，a代表输出值，n为样本总数。 对w和b求偏导数： 根据偏导数的结果，w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。 sigmoid函数的图
sigmoid_cross_entropy_with_logits,softmax_cross_entropy_with_logits,sparse_softmax_cross_entropy_…
01-20
tf.nn.sigmoid_cross_entropy_with_logits 函数的计算方式就是对输出值先算sigmoid，然后与真实值做交叉商运算。 sigmoid函数的定义：11+e−x\displaystyle\frac{1}{1+e^{-x}}1+e−x1​ 交叉商的计算方式：−(labels...
为什么交叉熵损失可以提高具有sigmoid和softmax输出的模型的性能，而使用均方误差损失则会存在很多问题
郭云飞的专栏
10-16 6863
一、均方误差的权值更新过程（举例说明） 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数： 然后更新w、b
sigmoid作为激活函数时使用交叉熵损失函数cross-entropy原由
lzzdflg的博客
06-24 8368
在大多数使用sigmoid作为激活函数时，神经网络中通过使用交叉熵损失函数cross-entropy可使网络参数能够快速的从错误中学习问题，使梯度下降中权值w以及偏秩b的下降速率得以提升，即可较为快速的得出网络结果。 在下方图示中，我们给出神经网络中对于使用sigmoid作为激活函数，在使用二次代价函数(quadraticcost)时产生的一种下降速率缓慢的数据图像。 对于上图两神经网络...
binary_cross_entropy_with_logits函数的参数设定
最新发布
qq_75125305的博客
06-30 558
pos_weight (Tensor，可选) - 指定正类的权重。支持广播，使其shape与 logits 的shape保持一致。默认值：None ， pos_weight 是值为 1 的Tensor。weight (Tensor，可选) - 指定每个批次二值交叉熵的权重。支持广播，使其shape与 logits 的shape保持一致。reduction (str，可选) - 指定应用于输出结果的规约计算方式，可选 ‘none’ 、 ‘mean’ 、 ‘sum’ ，默认值： ‘mean’。
交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数
CSPhD-winston的博客
03-04 988
交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss函数前言公式推导过程sigmoid 前言 分类问题中，交叉熵函数是比较常用也是比较基础的损失函数，原来就是了解，但一直搞不懂他是怎么来的？为什么交叉熵能够表征真实样本标签和预测概率之间的差值？趁着这次学习把这些概念系统学习了一下。 首先说起交叉熵，脑子里就会出现这个东西 随后我们脑子里可能还会出现Sigmoid()这个函...
sigmoid_cross_entropy_with_logits函数笔记
Smriti Pertor的博客
05-20 4503
@ TOC tf.nn.sigmoid_cross_entropy_with_logits()介绍 线性模型假设 样本 (x,z)(x,z)(x,z), 其中X是样本的点，zzz是样本的标签，假设我们的线性模型如下 y=ω∗x+b y = \omega *x + b y=ω∗x+b 这个函数用到的基础函数 sigmoid 函数 其实logistic函数也就是经常说的sigmoid函数，它的几何...
tensorflow sigmoid_cross_entropy_with_logits 函数解释及公式推导
qq_22979337的博客
12-13 1790
tensorflow sigmoid_cross_entropy_with_logits 函数解释及公式推导 tensorflow官方文档解释参考 pytorch–BCELoss pytorch–BCELoss解释参考 定义在tensorflow/python/ops/nn_impl.py. 功能：计算在给定logits和label之间的sigmoid cross entropy。测量离散分类任务...
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
01-20
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？ 首先明确一点，loss是代价值，也就是我们要最小化的值 tf.nn.softmax_cross_entropy_with_logits(logits,...
tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits() -
08-03
`tf.nn.weighted_cross_entropy_with_logits(logits, targets, pos_weight, name=None)` 允许为不同类别的损失分配不同的权重。`pos_weight` 参数是一个张量，其元素数量与`logits`的最后一个维度相同，用于调整...
tensorflow中常用交叉熵损失函数(cross_entropy)的比较总结与代码示例
01-20
tf.nn.sigmoid_cross_entropy_with_logits tf.losses.softmax_cross_entropy tf.nn.softmax_cross_entropy_with_logits_v2 tf.losses.sparse_softmax_cross_entropy 1. tf.losses.sigmoid_cross_entropy ...
房价预测Python代码
03-11
房价预测Python代码
tensorflow 分类损失函数使用小记
09-17
本篇小记将重点探讨在TensorFlow中如何使用分类损失函数，特别是`sparse_categorical_crossentropy`和`categorical_crossentropy`，以及它们与二分类损失函数`BinaryCrossentropy`之间的差异。 首先，我们来看多...
sigmoid_cross_entropy_with_logits交叉熵损失简介及测试
qq_35608277的博客
11-08 5392
def 这个函数的作用是计算经sigmoid 函数激活之后的交叉熵。 def sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None): 计算公式： 为了描述简洁，我们规定 x = logits（比如一张图），z = targets（分类结果） z * -log(sigmoid...
机器学习-线性回归算法（房价预测项目）
有一分热，发一分光。
10-01 5765
线性回归（Linear Regression）是回归任务中最常见的算法，利用回归方程对自变量和因变量进行建模，且因变量和自变量之间是线性关系而得名，从而可以根据已知数据预测未来数据，如房价预测、PM2.5预测等。
深度学习（11）——房价预测实践
weixin_45132473的博客
07-21 1648
深度学习——房价预测实践
常用损失函数总结（L1 loss、L2 loss、Negative Log-Likelihood loss、Cross-Entropy loss、Hinge Embedding loss、Margi）
weixin_38353277的博客
01-18 420
常用损失函数总结（L1 loss、L2 loss、Negative Log-Likelihood loss、Cross-Entropy loss、Hinge Embedding loss、Margi） 损失函数分类与应用场景 损失函数可以分为三类：回归损失函数(Regression loss)、分类损失函数(Classification loss)和排序损失函数(Ranking loss)。 应用场景： 回归损失：用于预测连续的值。如预测房价、年龄等。 分类损失：用于预测离散的值。如图像分类，语义分割等。
sigmoid_cross_entropy_with_logits的计算方法
brooknew的专栏
11-30 4548
sigmoid_cross_entropy_with_logits 可以衡量已标注过数据预测的正确度。比如一个（x,y）数据项，x表示输入取值为实数，y表示标注取值0或1。根据x算出一个概率p=1/(1+e^（-x）) 。 可以看到，当x=0时p=0.5 ，标注为1或0的概率各50%；x>0 时，p>0.5, x越大p越接近于0；x < 0 时，p<0.5。所以 L=ylo...
tensorflow sigmoid_cross_entropy_with_logits 函数解释
djph26741的博客
05-05 1644
tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None) sigmoid_cross_entropy_with_logits详解 这个函数的输入是logits和targets，logits就是神经网络模型中的 W * X矩阵，注意不需要经过sigmoid，而t...
tf.nn.sigmoid_cross_entropy_with_logits
05-03
tf.nn.sigmoid_cross_entropy_with_logits 是 TensorFlow 中的一个函数，用于计算二分类问题中的交叉熵损失。在神经网络中，通常使用 sigmoid 函数将输出转换为概率值，然后使用交叉熵损失函数来衡量模型预测的概率分布与实际标签之间的差异。 该函数接受两个参数：logits 和 labels。其中，logits 是模型的输出，labels 是真实标签。函数将 logits 通过 sigmoid 函数转换为概率值，然后计算二分类问题中的交叉熵损失。函数返回一个张量，表示每个样本的损失值。 示例代码： ```python import tensorflow as tf logits = tf.constant([2.0, 1.0, 0.1]) labels = tf.constant([1.0, 0.0, 1.0]) loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=logits, labels=labels) with tf.Session() as sess: print(sess.run(loss)) ``` 输出结果： ``` [0.12692805 0.55144495 0.91301525] ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值