softmax+交叉熵

已于 2022-02-24 09:30:30 修改
阅读量2.7k 收藏 14
点赞数 3
分类专栏： 机器学习 文章标签： 分类 机器学习 深度学习
于 2022-02-23 23:31:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dear_learner/article/details/123101659
版权
本文详细介绍了softmax函数及其与sigmoid的区别，强调在互斥分类问题中使用softmax。接着，阐述了交叉熵的概念，包括信息熵、KL散度和交叉熵损失函数，并指出在模型优化中交叉熵的重要性。最后，探讨了softmax与交叉熵损失函数的求导过程，为理解深度学习中的分类问题提供了理论基础。
摘要由CSDN通过智能技术生成

1、softmax函数

softmax函数的定义为：
在这里插入图片描述
softmax函数的特点：
● 函数值在[0,1]之间；
● 所有的softmax(xi)相加的总和是1
面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。
在这里插入图片描述
sigmoid函数定义为：
在这里插入图片描述
sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3,…,bk]，每个值之间是相互存在关系的，∑ai=∑bi=1，可以用于多分类问题，选取权重最大的一维。

区分sigmoid和softmax使用的场景:
1、有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4

最低0.47元/天 解锁文章
Dear_林
关注
专栏目录
【KD】多标签“Softmax+交叉熵”的软标签版本
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 392
目录 简介 巧妙联系 形式猜测 证明结果 实现技巧 文章小结 参考 简介 在《将“softmax+交叉熵”推广到多标签分类问题》中，我们提出了一个用于多标签分类的损失函数： 这个损失函数有着单标签分类中“Softmax+交叉熵”的优点，即便在正负类不平衡的依然能够有效工作。但从这个损失函数的形式我们可以看到，它只适用于“硬标签”，这就意味着label smoothing、mixup等技巧就没法用了。本文则尝试解决这个问题，提出上述损失函数的一个软标签版本。 巧妙联系 多标签
【KD】将“softmax+交叉熵”推广到多标签分类问题
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 244
目录 简介 单标签到多标签 众里寻她千百度 组合softmax 自动确定阈值 暮然回首阑珊处 统一的loss形式 用于多标签分类 所以，结论就是 参考 简介 一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。在这篇文章里，我们尝试将“softmax+交叉熵”方案推广到多标签分类场景，希望能得到用于多标签分类任务的、不需要特别调整类权重和阈值的loss。 类别不平衡 单标签到
softmax和交叉熵
MR CODER
11-04 490
softmax用于多分类过程中，往往加在神经网络的他将多个神经元的输出，映射到（0，1）区间内，看成概率来解，这些值的累和为1，在选取输出节点的时候选取概率最大的节点作为我们的预测目标，从而进行多分类。 Si=ei(∑jej)S_{i} = { \frac{e_{i}} {\choose\sum_{j}e^{j}} }Si​=(∑j​ej​)ei​​ softmax 相关求导 当对分类的Loss进...
softmax与交叉熵
lanbamboo的博客
04-21 1097
内容预览一、期望(Expect)二、熵(Entropy)三、相对熵(KL散度)四、交叉熵(Cross entropy)五、Softmax六、One-hot编码 一、期望(Expect) 随机变量的均值：E(x)=x1∗P(x1)+x2∗P(x2)+…+xn∗P(xn)E(x)=x_1*P(x_1)+x_2*P(x_2)+…+x_n*P(x_n)E(x)=x1​∗P(x1​)+x2​∗P(x2​)+…+xn​∗P(xn​) 如果变量x满足均匀分布，那么期望=均值 二、熵(Entropy) 信息量：I(x0)=
softmax函数与交叉熵损失详解
最新发布
酒酿小圆子呀～
05-13 2365
由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。
简简单单了解一下softmax与交叉熵
非晚非晚的博客
01-11 3351
也看了不少softmax和交叉熵的文章了，不少文章对它们的来龙去脉做了比较清晰地梳理，有些文章讲得过于复杂，从信息量、相对熵(KL散度)讲到交叉熵，对于想要实际应用的同学来说，其实没有必要掌握它的来龙去脉，于是在此，对softmax和交叉熵的概念和公式进行简要说明，辅助以实际例子对它们具体说明。
softmax以及交叉熵
qq_29507011的博客
05-01 367
softmax 计算方式为数组中的每一项分子是e的xi次方，分母是e的xi次方求和,所以softmax数组的和为1 代码实现： import tensorflow as tf a = tf.cast([1,2,3,4,5],dtype=float) b = tf.nn.softmax(a) with tf.Session() as sess: c = sess.run([b]) ...
将“softmax+交叉熵”推广到多标签分类问题
qq_41898761的博客
06-17 541
在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。指的就是单标签分类问题，即从n个候选类别中选1个目标类别。假设各个类的得分分别为s1,s2,…,sn，目标类为t∈{1,2,…,n}，那么所用的loss为 这个loss的优化方向是让目标类的得分st变为s1,s2,…,st中的最大值。即从n个候选类别中选k个目标类别。 一般方法：这种情况下我们一种朴素的做法是用sigmoid激活，然后变成n个二分类问题，用二分类的交叉熵之和作为loss。 缺点：显然，当n≫k时，这
搭建深度学习框架（七)：softmax+交叉熵损失函数的实现
qq_43790749的博客
02-21 2772
上一节已经实现了LSTM网络的搭建，这一节将实现交叉熵损失函数的搭建和运用，实现对物体的分类。 代码下载地址：xhpxiaohaipeng/xhp_flow_frame 一、softmax+交叉熵损失函数代码实现的原理 1.在经过交叉熵损失函数处理前，输出结果应先经过一个softmax函数处理得到一个总和为1的概率分布。 softmax函数实现如下： 那么softmax函数对y求导，可得导数为： softmax(y)-softmax(y)**2 2.最终将softmax函数的结果输入交叉熵损失函数计算损
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4693
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
softmax交叉熵
jshazhang的专栏
12-26 171
多分类问题 神经网络输出多个类型，每个类型需要判断正确的概率，这个时候logisticregression就不行了，我们就需要新的函数来解决这个问题，也就是softmax，称归一化指数函数。 softmax 公式 δ(z)=exp⁡zi∑j=1mexp⁡zj,i=1,...,m \delta(z) ={ {\exp^{z_i}}\over{ \sum_{j=1}^m \exp^{z_j}}},i=...
Softmax函数与交叉熵
Nick
12-25 1344
Softmax函数背景与定义在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入映射到区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值。这里假设在进入softmax函数之前，已经有模型输出值，其中是要预测的类别数，模型可以是全连接网络的输出，其输出个数为，即输出为。所以对每个样本
深度学习---之softmax与交叉熵
zxyhhjs2017的博客
11-24 901
交叉熵到底是如何来定义损失函数的呢？首先看下面的公式： 不用完全对着上图公式看，因为我的解释没有加上log和-号，你只要看懂文字，加log和-号是一回事 q()表示神经网络的预测值 p()表示样本属于某一类（ground truth）的概率：这个是真实值，什么意思呢？ (1)就是我输入一个猫的图片，这个时候如果q(x=狗)预测这个图片为x=狗的概率是0.8，但是p()这个这
Softmax和交叉熵的联系
Francis_s的博客
10-17 411
刚开始上DL的课就很好奇，为什么大家都选softmax是交叉熵是搭配使用的，老师也不讲.... 1. softmax + crossentropy 首先是理解softmax究竟做了什么事，它就是把模型的输出向量都规整到用概率的形式去表达了，这里softmax的公式就不放了。 譬如这个predict总共有5个类别，某一个样本进网络后的softmax输出是一个vector，[0.1, 0.2, 0.5, 0.1, 0.1]，这里表示的是这个样本一个概率分布：P(X,Y) ...
全面理解softmax与交叉熵
weixin_39873397的博客
07-06 284
https://blog.csdn.net/edward_zcl/article/details/85224833 https://www.cnblogs.com/lliuye/p/9549881.html
交叉熵与softmax函数
weixin_43003274的博客
10-27 442
交叉熵与softmax函数 在神经网络中，在对超参数进行优化过程当中，需要有一个优化的目标值，也就是真实值与预测值之间的差距要尽量小，差距越小说明预测越精确。这个差距往往用loss表示 在分类问题当中，我们用交叉熵来表示这个loss值。 1. 熵的概念 熵是物理学中的一个名词，表示体系混乱的程度，越混乱熵越大。在神经网络中，交叉熵越大说明预测的越不准确，越混乱。 2. 交叉熵的计算公式 Hy′(y...
softmax+交叉熵损失函数代码
06-10
以下是使用PyTorch实现softmax和交叉熵损失函数的示例代码： ```python import torch import torch.nn.functional as F # 定义样本标签 labels = torch.tensor([2, 0, 1]) # 定义模型预测输出，假设有3个类别 outputs = torch.tensor([[0.1, 0.2, 0.7], [0.9, 0.05, 0.05], [0.2, 0.7, 0.1]]) # 计算softmax probs = F.softmax(outputs, dim=1) # 计算交叉熵损失函数 loss = F.cross_entropy(outputs, labels) print('输出概率值：\n', probs) print('交叉熵损失函数值：\n', loss) ``` 输出结果如下： ``` 输出概率值： tensor([[0.2500, 0.2853, 0.4647], [0.6590, 0.1714, 0.1696], [0.3064, 0.5019, 0.1917]]) 交叉熵损失函数值： tensor(1.1087) ``` 其中，`F.softmax`函数用来计算softmax，`dim=1`表示在每行上计算，得到每个类别的概率值。`F.cross_entropy`函数用来计算交叉熵损失函数，第一个参数为模型预测输出，第二个参数为样本标签。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值