本文介绍了熵的概念，表示随机变量的不确定性；联合熵描述两个随机变量的共同不确定性；条件熵表示在已知另一个变量的情况下，一个变量的不确定性；相对熵（KL散度）衡量两个概率分布的差异，非对称且非负；交叉熵用于评估模型预测分布与真实分布的差异，常用于损失函数；互信息则衡量两个变量之间的依赖性，独立时互信息为0。这些概念在信息论和机器学习中有广泛应用。
[1] https://www.cnblogs.com/kyrieng/p/8694705.html
熵
H ( X ) = − ∑ x p ( x ) l o g p ( x ) H(X) = -\sum_xp(x)logp(x) H(X)=−∑xp(x)logp(x), 它表示的是随机变量 X X X的不确定性，不确定性越大，熵越大。
没有条件约束的时候，X是均匀分布，对应的熵最大。
给定均值和方差的前提下，正态分布对应的熵最大。
联合熵
这里以两个随机变量为例：
H ( X , Y ) = − ∑ x , y p ( x , y ) l o g p ( x , y ) H(X,Y)=-\sum_{x,y}p(x,y)logp(x,y) H(X,Y)=−∑x,yp(x,y)logp(x,y)
条件熵
H ( Y ∣ X ) = H ( X , Y ) − H ( X ) H(Y|X) = H(X,Y)-H(X) H(Y∣X)=H(X,Y)−H(X)
H ( Y ∣ X ) = −
最低0.47元/天 解锁文章
3368
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
