关闭

信息论小结

标签: 信息论信息增益
225人阅读 评论(0) 收藏 举报

信息论小结

joey 周琦

某个事件x发生的概率为p(x),那么该事件的信息量h(x)=logP(x)

  • 该定义满足h(x)>=0
  • 若事件x,y相互独立,那么

h(x,y)=logp(x,y)=logp(x)p(y)=h(x)+h(y)

熵:可以表示某个随机事件包含的信息量的期望

  • 熵=ipilogpi
  • 条件熵:H[y|x]=p(y,x)logp(y|x)
  • 互信息:I(x,y)=H(x)H(x|y)=H(y)H(y|x)
  • 决策树中的,information gain也就是互信息,即假设有数据集D,某特征A, IG(D,A)=H(D)H(D|A)

KL散度(kl divergence)

  • 若有一个未知分布p(x), 假设我们利用q(x)来逼近该分布,那么q(x)逼近p(x)的程度可以用KL divergence表示
  • KL(p||q)=p(x)logq(x)(p(x)logp(x))=p(x)logq(x)p(x)
  • 可以证明:KL散度不对称,>=0
  • 可以证明: I(x,y)=KL(p(x,y)||p(x)p(y))
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:48384次
    • 积分:653
    • 等级:
    • 排名:千里之外
    • 原创:38篇
    • 转载:0篇
    • 译文:0篇
    • 评论:5条
    文章分类
    最新评论