[机器学习] 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离

本文详细介绍了信息熵、交叉熵、KL散度、JS散度和Wasserstein距离的概念及其关系。熵是衡量信息量的指标,交叉熵和KL散度常用于评估概率分布之间的差异,其中交叉熵常用于损失函数。JS散度是对称的,而Wasserstein距离则在分布没有重叠时仍能提供有用信息,适用于衡量分布的搬运成本。
摘要由CSDN通过智能技术生成

参考:https://blog.csdn.net/Dby_freedom/article/details/83374650
参考:https

1. 什么是熵(Entropy)?

信息熵
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
独立事件的信息量可叠加。
比如“a. 张三今天喝了阿萨姆红茶,b. 李四前天喝了英式早茶”的信息量就应该恰好等于a+b的信息量,如果张三李四喝什么茶是两个独立事件。
互信息

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*)

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值