熵、联合熵、条件熵、交叉熵与相对熵意义

最新推荐文章于 2022-06-30 11:56:39 发布

mstar1992

最新推荐文章于 2022-06-30 11:56:39 发布

阅读量1.2w

点赞数 7

分类专栏：机器学习

本文链接：https://blog.csdn.net/u013713117/article/details/55099060

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

                    
                    熵： 
    
    H(X)=−∑xp(x)lnp(x) 
    
  衡量不确定性的度量
联合熵:  
    
    H(X,Y)=−∑x,yp(x,y)lnp(x,y) 
    
  （X,Y）在一起时的不确定性度量 
条件熵:  
    
    H(X,Y)−H(X)=−∑x,yp(x,y)lnp(y|x) 
    
  X确定时，Y的不确定性度量
在X发生是前提下，Y发生新带来的熵。
交叉熵: 
    
    H(p,q)=−∑xp(x)lnq(x) 
    
  衡量p与q的相似性
相对熵:  
    
    KL(p||q)=−∑xp(x)lnq(x)p(x) 
    
  p与q不相似的度量
 
      KL(p||q)=−∑xp(x)lnq(x)p(x)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mstar1992

关注关注

7
点赞
踩
13

收藏

觉得还不错? 一键收藏
3
评论
熵、联合熵、条件熵、交叉熵与相对熵意义

熵：H(X)=−∑xp(x)lnp(x)H(X)=-\sum_x p(x)lnp(x) 衡量不确定性的度量联合熵: H(X,Y)=−∑x,yp(x,y)lnp(x,y)H(X,Y)=-\sum_{x,y} p(x,y)lnp(x,y) （X,Y）在一起时的不确定性度量条件熵: H(X,Y)−H(X)=−∑x,yp(x,y)lnp(y|x)H(X,Y)-H(X)=-\sum_{x,y} p(
复制链接

扫一扫