交叉熵误差（cross entropy error)

最新推荐文章于 2024-08-30 09:16:55 发布

阿米什

最新推荐文章于 2024-08-30 09:16:55 发布

阅读量1w

点赞数 9

文章标签：机器学习神经网络信息熵交叉熵误差

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42258608/article/details/88059252

版权

本文探讨了熵在机器学习中的重要性，特别是在决策树、神经网络和logistic回归中的应用。介绍了熵的定义，以及交叉熵误差作为损失函数的三大优势：真实反映分类误差、与softmax及sigmoid函数复合后的凸性，以及优化过程中简洁的一阶导数。通过这些性质，交叉熵误差简化了模型训练和求解过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

熵真是一个神奇的东西，据说之所以把它命名为熵就是因为它难以理解

但是它确实是一个很有用的西东，光机器学习里面，就经常见到它的身影，决策树要用到它，神经网络和logistic回归也用到了它。

先说熵的定义：

熵定义为信息的期望，某个待分类事物可以划分为多个类别，其中类别 $x_{i}$ 的信息为( $p(x_{i})$ 为 $x_{i}$ 的概率)：

$l(x_{i})=-log_{2}p(x_{i})$

熵为所有类别的信息期望值：
$H=-\sum _{i=1}^{n}p(x_{i})log_{2}p(x_{i})$

交叉熵误差：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。