softMax和交叉熵损失直接关系

最新推荐文章于 2022-11-04 21:07:22 发布
最新推荐文章于 2022-11-04 21:07:22 发布
阅读量175 收藏
点赞数
分类专栏： 机器学习&深度学习 文章标签： 深度学习 算法 cnn
原文链接：https://zhuanlan.zhihu.com/p/52064877
版权

softmax激活函数的作用是概率和保证为1,交叉熵公式定义如下

H\left ( x \right )=-\sum_{i=1}^{K}q( x_i )\log\left ( p(x_i) \right )

原熵代表随机变量不确定度。q是实际概率分布，ONE-HOT方式；p是期望概率分布，sofmax输出。交叉熵越小越好，代表两概率分布越接近。

......公式推导

采用梯度下降法：

\omega=\omega-\alpha\frac{\partial J}{\partial \omega}

下面链接我只是记录一下学习，如有侵犯原作者立删。

原链接：为什么是SoftMax？ - 知乎 (zhihu.com)公式有点问题

公式推导正确链接：Softmax公式推导 - 知乎 (zhihu.com)

橘子荟
关注
专栏目录
交叉熵损失函数:分类任务的不二法门
程序员光剑
04-28 660
1. 背景介绍 机器学习和深度学习的浪潮席卷全球，分类任务作为其中最为基础且应用广泛的任务类型，扮演着不可或缺的角色。从图像识别到自然语言处理，从垃圾邮件过滤到信用风险评估，分类模型在各个领域都展现出强大的能力。而模型的性能优劣，很大程度上取决于损失函数的选择。交叉熵损失函数（Cross-Entropy Loss Function）
交叉熵与softmax
crazy_scott的博客
05-13 6000
介绍改进神经网络的基本方法：交叉熵代价函数与softmax。 二次代价函数 之前我们一直使用二次代价函数，貌似在一定程度上也挺work。但其实，当输入值与目标值差距很大时，二次代价函数就不是很恰当了；这是因为当差距很大时，此函数的学习速率会很慢。我们可以通过一个简单的例子观察这种变化： 假设我们只使用一个神经元与一个输出神经元，定义代价函数为： C=(y−a)22C=(y−a)...
softmax与交叉熵的关系
HJC256ZY的博客
06-14 1026
softmax与交叉熵的关系 softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。 1）分子：通过指数函数，将实数输出映射到零到正无穷。 2）分母：将所有结果相加，进行归一化。 假设模型三分类问题：-3、1.5、2 y1 = exp(-3) = 0.05 y2 = exp(1.5) = 4.48 y3 = exp(2) = 7.39 分母使概率之和等于1 z1 = y1/(y1+y2+y3) = 0.05/(1.05+4.48+7.39) z2 = y2/(y1+y2+y3
softmax函数与交叉熵损失函数
Cy_coding的博客
12-06 4614
交叉熵损失函数 softmax
softmax函数_交叉熵损失函数和Softmax
weixin_39610594的博客
11-26 352
什么是交叉熵损失函数为了理解什么是交叉熵，首先我们得了解信息量，熵，相对熵等一系列概念； 信息量 一条信息的不确定性越大，那么信息量越大，这个用通俗的语言很好解释：你跟别人讲， 明天太阳从东边出来，别人会说你说了一句废话，这是个确定的事情，没有信息量；微博上杨超越晒出照片有一个烟盒，大家就会说信息量好大了，因为此时杨超越抽不抽烟还是不确定的。熵 熵是信息量的期望值。和我们在热力学中理解的混乱程度也...
简简单单了解一下softmax与交叉熵
非晚非晚的博客
01-11 3320
也看了不少softmax和交叉熵的文章了，不少文章对它们的来龙去脉做了比较清晰地梳理，有些文章讲得过于复杂，从信息量、相对熵(KL散度)讲到交叉熵，对于想要实际应用的同学来说，其实没有必要掌握它的来龙去脉，于是在此，对softmax和交叉熵的概念和公式进行简要说明，辅助以实际例子对它们具体说明。
Softmax函数与交叉熵损失
不学无术的小镇做题家
09-17 330
在分类问题中，直接使用输出层的输出有两个问题。一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103o_1=o_3=10^3o1​=o3​=103，那么输出值10却又表示图像类别为猫的概率很低。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值...
softmax函数和交叉熵损失函数
诗蕊的专栏
08-11 6659
在CNN中，全连接层后会加上softmax函数，并且一般用交叉熵函数作为损失函数。这篇文章主要记录softmax把CNN的输出变成概率的过程以及交叉熵如何为优化过程提供度量，并且用python实现。 softmax函数 softmax函数将一个N维向量的输入的每一维都转换成区间维（0，1）之间的一个实数，公式如下： pi=eai∑Nk=1eakpi=eai∑k=1Nekap_i=\frac{...
softmax+交叉熵
Dear_learner的博客
02-23 2785
1、softmax函数 softmax函数的定义为： softmax函数的特点： ● 函数值在[0,1]之间； ● 所有的softmax(xi)相加的总和是1 面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。 sigmoid函数定义为： sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4675
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
神经网络中的激活函数与损失函数&深入理解推导softmax交叉熵
weixin_49374896的博客
02-26 2342
介绍神经网络中常用的激活函数和损失函数，主要是介绍softmax交叉熵损失函数，并使用计算图手动推导softmax交叉熵反向传播过程。
PyTorch的SoftMax交叉熵损失和梯度用法
12-23
在PyTorch中可以方便的验证SoftMax交叉熵损失和对输入梯度的计算 关于softmax_cross_entropy求导的过程,可以参考HERE 示例： # -*- coding: utf-8 -*- import torch import torch.autograd as autograd from torch.autograd import Variable import torch.nn.functional as F import torch.nn as nn import numpy as np # 对data求梯度, 用于反向传播 data = Variable(torc
Loss(一)-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为C₅，则样本3的损失：loss³=-log(ŷ₅³)，ŷ₅表示预测为5的概率值】
u013250861的博客
08-18 465
一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。例如我们的输入是 (x1,x2,x3,x4)=(1,2,3,4)(x_1,x_2,x_3,x_4)=(1,2,3,4)(x1​,x2​,x3​,x4​)=(1,2,3,4), 那么，Softmax就是对每个元素进行如下的操作： 打印结果： 1.2 对普通输入进行LogSoftmax LogSoftmax就是对Softmax处理后的每个元素计算 logloglog 或 lnlnln 值： 打印结果： 2、对神经网络的输出进行Sof
softmax，softmax loss和交叉熵的关系
weixin_43845922的博客
11-04 503
softmax
Softmax函数与交叉熵
热门推荐
behamcheung的博客
05-13 4万+
Softmax函数与交叉熵
CrossEntropy交叉熵损失函数及softmax函数的理解
qq_44629163的博客
04-22 1万+
参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...
机器学习_交叉熵
yeldon的博客
10-12 841
1. 引言 我们都知道损失函数有很多种：均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy）。这几天看论文的时候产生了疑问：为啥损失函数很多用的都是交叉熵（cross entropy）？其背后深层的含义是什么？如果换做均方误差（MSE）会怎么样？下面我们一步步来揭开交叉熵的神秘面纱。 2. 交叉熵的来源 2.1 信息量 一条信息的信息量大小和它的不确定性有很大的关系。一句话如果需要很多外部信息才能确定，我们就称这句话的信息量比较大。比如你听到“云南西双版
Logistic 回归的三个视角（极大似然估计/熵/形式化损失函数）
Leo_Xu06的博客
01-04 3478
介绍 Logistic的基本形式： 需要明确的概念： 逻辑回归解决的不是回归的问题，而是分类的问题 逻辑回归是线性模型，其中sigmoid函数只是非线性激活函数 极大似然视角下的Logistic 极大似然与伯努利分布 假设 x,y∼B(±1,p)x, \, y \sim B(\pm1,p) 考虑一个二分类问题：f(x)→{+1,−1}f(x)\rightarrow \
softmax与交叉熵(Cross Entropy)的区别与联系
weixin_42423701的博客
05-26 3246
最初的疑惑 看到一篇关于训练词向量的论文当中提到了用CBOW训练词向量时，目标是使用上下文推断缺失词的后验概率最大，目标函数是后验概率，而后验概率的表示为softmax，也就是下面的公式 P(wj∣wI)=exp(vjTvI)∑j′=1nexp(vj′TvI)P(w_j|w_I)=\frac{exp(v_j^Tv_I)}{\sum_{j'=1}^n exp(v_{j&#...
softmax和交叉熵损失函数
最新发布
08-16
softmax 和交叉熵损失函数经常一起使用，尤其在多类别分类任务中。 softmax 是一种常用的激活函数，它将模型的原始输出转化为表示概率的输出。softmax 函数通过对原始输出进行指数运算，并进行归一化，将每个类别的得分转化为该类别的概率值。softmax 函数的数学表达式如下： ``` softmax(x_i) = exp(x_i) / sum(exp(x_j)) ``` 其中，x_i 是模型的原始输出，exp 是指数函数，sum 表示对所有类别的输出进行求和。 交叉熵损失函数是一种常用的损失函数，用于衡量模型预测结果与真实标签之间的差异。在多类别分类任务中，交叉熵损失函数可以用于衡量模型预测的概率分布与真实标签的概率分布之间的差异。交叉熵损失函数的数学表达式如下： ``` cross_entropy(y, p) = -sum(y_i * log(p_i)) ``` 其中，y 是真实标签的概率分布，p 是模型预测的概率分布，log 是自然对数函数。 在多类别分类任务中，通常将模型的原始输出经过 softmax 函数转化为概率分布，并将概率分布作为交叉熵损失函数的输入。通过最小化交叉熵损失，可以使得模型的预测结果更接近真实标签，并优化模型的参数。 需要注意的是，softmax 和交叉熵损失函数是一对常用的组合，但在其他任务或特定场景下，可能需要选择其他适合的激活函数和损失函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值