1.概括图
其中:A=I(x;y|z),B=I(x;z|y),C=I(y;z|x),D=I(x;y;z)
这里不难看出以下几点结论。
一、在某个条件下,意味着已知这部分条件的信息,在计算条件熵(熵即不确定度,或者从公式上看是信息量的期望)时就把这部分已知的信息给减去。
例如:
H(X|Y)=H(x)-I(x;y)
二、联合熵是对应的并集,认知上讲,X和Y的联合信息量,等价于已知X加上已知X基础上关于Y的,同样等价于已知Y加上已知Y基础上关于X的。
例如:
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|X)
三、互信息是对应的交集,X和Y的互信息即X和Y公共的信息,等价于X减去已知Y后X还剩下的,同样等价于Y减去已知X后Y还剩下的。
例如:
I(x;y)=H(X)-H(X|Y)=H(Y)-H(Y|X)
四、条件互信息和条件熵类似,直观上计算可以参考概括图,几何上加减可推导相应的公式出来。概括图中,红色圆是H(X),红色圆除去A、B、D这三部分后就是H(X|Y,Z)。黑色和紫色可同理。
例如:
I(x;y|z)=H(X)-H(X|Y,Z)-I(x;z)=H(X)-H(X|Y,Z)-(H(X)-H(X|Z))=H(X|Z)-H(X|Y,Z)