cross-entropy

最新推荐文章于 2023-11-29 16:41:14 发布

ippputeeel

最新推荐文章于 2023-11-29 16:41:14 发布

阅读量751

点赞数

分类专栏： deeplearning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_40485472/article/details/81131446

版权

1.交叉熵的定义

$H(p,q)=-\sum_{i=0}^np(x_i)\log q(x_i)$

2.交叉熵与信息熵、KL散度的关系

信息熵是用来衡量不确定性的。

信息量的定义：不确定性越大，所包含的信息量越大；不确定性越小，所包含的信息量

定义： $\chi$ 为一个随机分布， $p(x)=P(\chi =x)$ ,当 x=x_0 时，所包含的信息量为 $I(x_0)=-\log p(x_0)$

根据概率分布的性质，

最低0.47元/天解锁文章

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
cross-entropy

1.交叉熵的定义2.交叉熵与信息熵、KL散度的关系信息熵是用来衡量不确定性的。信息量的定义：不确定性越大，所包含的信息量越大；不确定性越小，所包含的信息量定义：为一个随机分布，,当时，所包含的信息量为根据概率分布的性质，,所以, 当且仅当时，；且越大，越小信息熵可以看作是一个概率分布信息量的期望，KL散度（相对熵）是用来衡量两个分布之间的差异，也可以认为是从分布p到...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。