交叉熵损失函数优缺点_如何简单通俗的理解交叉熵损失函数?

前面小编给大家简单介绍过损失函数,今天给大家继续分享交叉熵损失函数,直接来看干货吧。

一、交叉熵损失函数概念

交叉熵损失函数CrossEntropy Loss,是分类问题中经常使用的一种损失函数。公式为:

接下来了解一下交叉熵:交叉熵Cross Entropy,是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。

交叉熵的计算方式如下:

交叉熵可在机器学习中作为损失函数,p代表真实标记的分布,q则代表训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是:使用sigmoid函数在梯度下降时,可以避免均方误差损失函数学习速率下降的问题,这是因为学习速率是能够被输出的误差所控制的。

二、交叉熵损失函原理

一般我们学习交叉熵损失函数是在二元分类情况下,就比如逻辑回归「Logistic Regression」、神经网络「Neural Network」等,其真实样本的标签为 [0.1],分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数,输出一个概率值,这个概率值反映了预测为正类的可能性:概率越大,可能性越大。

其中s是模型上一层的输出,sigmoid函数有这样的特点:s = 0 时,g(s) = 0.5; s >> 0 时,g ≈ 1.s << 0 时,g ≈ 0.显然,g(s) 将前一级的线性输出映射到[0. 1]之间的数值概率上,这里g(s)就是交叉熵公式中的模型预测输出。

预测输出也就是, Sigmoid 函数的输出,表示当前样本标签为 1 的概率:

y^=P(y=1|x)

那么,当前样本标签为 0 的概率就可以表示为:

1−y^=P(y=0|x)

从极大似然性的角度考虑,将上面两种情况进行整合:

也就是:

当真实样本标签 y = 0 时,上面式子第一项就为 1.概率等式转化为:

P(y=0|x)=1−y^

当真实样本标签 y = 1 时,上面式子第二项就为 1.概率等式转化为:

P(y=1|x)=y^

这两种情况下的概率表达式跟原来的完全相同,只是将两种情况进行了整合。

接下来我们重点看一下整合之后的概率表达式,概率 P(y|x) 越大越好。因为 log 运算并不会影响函数本身的单调性,所以 将log 函数引入P(y|x)。于是就有:

log P(y|x)=log(y^y⋅(1−y^)1−y)=ylog y^+(1−y)log(1−y^)

log P(y|x) 越大越好,反过来说也就是,只需要 log P(y|x) 的负值 -log P(y|x) 越小就可以了。引入损失函数,而且使得 Loss = -log P(y|x)即可。那么就能得到损失函数为:

如果是计算N个样本的总损失函数的情况,则只需要将N个Loss叠加起来

三、交叉熵损失函数的优缺点分析

1.使用逻辑函数得到概率,并结合交叉熵当损失函数时,当模型效果差的时,学习速度较快,模型效果好时,学习速度会变慢。

2.采用了类间竞争机制,比较擅长于学习类间的信息,但是只关心对于正确标签预测概率的准确性,而忽略了其他非正确标签的差异,从而导致学习到的特征比较散。

以上就是小编今天跟大家分享的关于交叉熵损失函数概念和原理的相关介绍,希望对于大家有所帮助。

完 谢谢观看

  • 4
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ignore_index是交叉熵损失函数中的一个参数,用于指定要忽略的目标值。在计算交叉熵损失的过程中,会将ignore_index对应的目标值排除在外,不参与梯度计算。当size_average为True时,损失将在未被忽略的目标上进行平均。需要注意的是,ignore_index只适用于目标包含类别索引的情况。 在Pytorch中,可以使用CrossEntropyLoss来实现交叉熵损失函数。示例代码如下: ``` from torch.nn import CrossEntropyLoss loss = nn.CrossEntropyLoss() input = torch.randn(3, 5, requires_grad=True) target = torch.empty(3, dtype=torch.long).random_(5) output = loss(input, target) ``` 在这个例子中,input是模型的输出,target是目标类别索引。调用CrossEntropyLoss计算损失时,如果目标值中包含了ignore_index对应的类别索引,那么这些目标值将被忽略,不会对梯度计算产生贡献。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [(三)带权重和ignore_index的交叉熵损失函数](https://blog.csdn.net/lx_ros/article/details/125630607)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [【深度学习】损失函数系列 (一) 平方损失函数、交叉熵损失函数 (含label_smoothing、ignore_index等内容)](https://blog.csdn.net/qq_43456016/article/details/130459645)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值