交叉熵损失函数

ma_kua

已于 2023-12-31 13:50:06 修改

阅读量186

点赞数

分类专栏：深度学习文章标签：机器学习信息熵

于 2020-01-15 19:03:24 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ma_kua/article/details/103994621

版权

本文首先介绍了信息熵的概念，作为衡量信息杂乱程度的量化标准，然后详细阐述了交叉熵损失函数的公式及作用。在逻辑回归中，交叉熵损失函数能够确保预测值（概率）与真实值匹配，从而达到优化模型的目的。

摘要由CSDN通过智能技术生成

在理解交叉熵损失函数之前，有必要先来说一下信息熵这个概念

信息熵

信息熵可以理解为信息杂乱程度的量化描述：信息越多，概率越均等则信息熵就越大；反之，信息越单一，概率越偏向其中某一个信息，那么熵值就越小

公式如下：

$H(X)=-\sum _ {i=1}^n P(x^{(i)}) logP(x^{(i)})$

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
交叉熵损失函数

信息熵信息熵可以理解为信息杂乱程度的量化描述：信息越多，概率越均等则信息熵就越大；反之，信息越单一，概率越偏向其中某一个信息，那么熵值就越小公式如下：H(X)=−∑i=1nP(x(i))logP(x(i))H(X)=-\sum _ {i=1}^n P(x^{(i)}) logP(x^{(i)})H(X)=−i=1∑nP(x(i))logP(x(i))其中，−logP(x(i))-...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。