Conditional mutual information 条件互信息

版权声明:如果此条博客对你有一丝的帮助,请留言支持一下博主。 https://blog.csdn.net/csuhoward/article/details/78682712

主要参考wiki,
另外参考下面博客的联合熵部分的感性理解,对联合熵的描述非常形象生动。
http://blog.csdn.net/pipisorry/article/details/51695283

  • 首先理解信息(I)的定义
    I 是衡量信息w的量,只和w发生的概率P(w)有关,认为

    I(w)=f(P(w))

    并且满足公式
    I(A,B)=I(A)+I(B)P(A,B)=P(A)P(B)

    若A,B是独立事件,那么AB同时发生的信息量是AB分别发生的信息量之和,而概率则是求乘积。
    那么满足公式的加法和乘法条件的f(.)就是log(.)函数了。
    所以定义I(w)=log(P(w))
    详细展开:
    https://en.wikipedia.org/wiki/Self-information
    这里写图片描述
    这里写图片描述

  • 熵Entropy(E)的定义
    熵就是信息的期望,所以要做一个E(w)=P(w)I(w)=P(w)log(P(w))
    注意到当P(w)等于0时,由于在P(w)极限逼近0时,P(w)log(P(w))等于0,所以规定

    if:P(w)=0,then:P(w)log(P(w))=0

    这里写图片描述
    这里写图片描述

  • joint entropy 联合熵
    描述一个变量集(这个集合包括X,Y)的不确定性
    注意H(X,Y)理解为描述X和Y要用到的信息量,那么H(X,Y)包括要来描述X的H(X)+已知X要额外描述Y需要增加的H(Y|X)。而I(X;Y)可以理解为描述X和Y信息关联程度的量。
    换到图上,H(X,Y)是两个圆覆盖的总面积,I(X,Y)是重叠面积,H(X|Y)和H(Y|X)是两个圆互不交的地方。
    这里写图片描述
    这里写图片描述
    这里写图片描述
    这里写图片描述

  • mutul information 互信息
    描述X和Y的之间的依赖程度。如果X和Y完全独立,那么p(x,y)=p(x)p(y),则log(1)=0,最后的I(X;Y)=0,如果存在依赖,那么I能够描述出依赖的程度;
    这里写图片描述
    这里写图片描述
    这里写图片描述

  • 条件互信息
    在条件(Z)发生时的条件互信息
    这里写图片描述
    这里写图片描述

总结

  • 信息I(w)=f(P(I(w)))
  • 信息发生的概率P(I(w))
  • 信息*概率=熵(其实就是信息的期望)
  • f(.)=Klog(.)
  • 优美的加法(I(w)之间)乘法(P(I(w))之间),他们的联系就是log,是log让他们直接加法变成了乘法。
展开阅读全文

没有更多推荐了,返回首页