多分类问题为什么用softmax函数和交叉熵损失

本文介绍了损失函数在评估预测效果中的作用,重点讲解了交叉熵损失如何衡量预测概率与真实概率间的差异,以及softmax函数在生成概率分布的应用。多分类问题通过softmax和交叉熵结合,转化为概率分布拟合问题,通过梯度更新优化参数以减小损失函数。
摘要由CSDN通过智能技术生成

1、损失函数是用来度量预测的效果:

这句话的意思是,预测效果好不好,我们需要用一个函数来度量,或者更直接一点,需要一个数来表示一下,例如0.9比0.8要好,而损失函数就是计算得到0.9还是0.8的函数。

2、交叉熵损失通过量化预测概率与真实概率分布之间的差异:

直白一些,就是有一个事真实概率分布是某个,我们又可以计算得出某个预测概率,计算这两个之间的距离的一种方式就是交叉熵H(P,Q),就是两个概率分布之间的距离的一种计算方式

3、softmax函数通常用于将一个向量(或一组实数)映射为一个概率分布

4、那么多分类问题的解决逻辑是,给每个类别都计算一个数,这样就得到了所有类别的一组数,用softmax将这组数映射为一个概率分布(被认为是预测的概率分布),然后用交叉熵来计算这个预测的概率分布与真实概率分布(用标签来表示)之间的距离,根据这个距离的反馈来计算梯度,更新参数,以使得这个距离变短,也就是损失函数变小,当损失函数很小时,我们认为这个任务被解决的比较好!

5、所以,多分类问题被变成了一个概率分布函数拟合问题!度量拟合效果的就是交叉熵损失,当然,也可以用其他的损失函数。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Softmax 函数和分类交叉熵损失函数在分类任务常被使用,原因如下: 1. Softmax 函数Softmax 函数将输入转化为表示概率分布的输出。在分类任务,我们希望模型的输出表示各个类别的概率,Softmax 函数可以将模型的输出转化为概率分布。Softmax 函数具有以下特点: - 将输入值映射到 (0, 1) 的区间,且所有输出值的和为 1,符合概率的定义。 - 可以放大较大的输入值并抑制较小的输入值,使得输出更加明确、鲁棒性更强。 - 具有可微性,可以方便地用于反向传播算法进行模型参数的更新。 2. 分类交叉熵损失函数:分类交叉熵损失函数用于衡量模型输出与真实标签之间的差异。在分类任务,我们希望模型的输出概率分布与真实标签的概率分布尽可能接近。分类交叉熵损失函数具有以下特点: - 可以衡量模型输出概率分布与真实标签的差异性,越小表示模型预测越准确。 - 在训练过程,通过最小化分类交叉熵损失函数可以使模型的输出概率分布逼近真实标签的概率分布。 - 具有可微性,可以方便地用于反向传播算法进行模型参数的更新。 综上所述,使用 Softmax 函数作为激活函数和分类交叉熵损失函数作为损失函数可以使模型在分类任务输出概率分布,并通过最小化损失函数来优化模型参数,使得模型能够更准确地进行分类。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值