记录学习分享
理解信息量
https://blog.csdn.net/tsyccnh/article/details/79163834
- 自信息量:
-I(xi) = -log( P(xi) ) - 信息熵:(自信息量的期望)
H(X) = -∑P(xi) * log( P(xi) ) - 条件熵:(条件信息量的期望。前边是xi和yj同时发生的概率,就是求期望)
H(X|Y) = -∑P(xi, yj) * log( P(xi | yj) ) - 联合熵:
H(X, Y) = -∑P(xi, yj) * log( P(xi , yj) ) - 互信息:
(互信息= 先验不确定性H(X) – 后验不确定性H(X|Y) = 不确定性减少量)
I(X;Y) = H(X)-H(X|Y) = H(Y)-H(Y|X) = H(X) + H(Y) – H(X,Y)
互信息公式这么定义的含义:
理解1:原来我对X有些不确定,不确定性为H(X),告诉我Y后我对X不确定性变为H(X|Y), 这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。
理解2:X,Y的信息熵之和H(X)+H(Y),减去其X,Y同时发生的联合信息熵H(X,Y),如果为0,说明X,Y相互独立、不相关;如果不为0,差值部分就是由于X、Y相关性带来的信息量消减,也就是互信息。
互信息的推导:
第三等式推导第四等式: