简述
(PS部分,可以是拓展部分,可不看)
条件自信息: 条件自信息,本质上还是自信息。定义上,明确指出,是在已知事件
y
=
b
j
y = b_j
y=bj发生的条件下,
x
=
a
i
x = a_i
x=ai的自信息。
互信息: 互信息的话,并没有想象中的那么独立。其实,在互信息的定义中,就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式,不难直接推出一个跟自信息相关的公式。
I
(
X
;
Y
)
=
I
(
X
)
−
I
(
X
∣
Y
)
I(X;Y) = I(X) - I (X | Y)
I(X;Y)=I(X)−I(X∣Y)
就这么简单,可以看出,互信息,本身从定义上,就只是自信跟条件自信息的附属。
数学表达式的意思是: 事件 X, Y之间的互信息就是,指事件X的自信息跟事件Y已知的条件下,事件X的自信息之间的差值。
不难看出,这是在对于 Y事件的发生对于X事件这件事上的自信息的影响 的考量。
而这种关系是互易性的 (这个通过对上面式子的变形很简单推出来)。
这种互易性,也是符合逻辑的。这说明,一个事情的发送对另外一件事的所包含的信息量的影响,反过来也是成立的。
(PS:而这种一致性跟贝叶斯概率模型在截然不同的。当然啦,因为底层的逻辑是不一致的。因为贝叶斯本质上的信息任然还是一种条件自信息。条件自信息的区别可以不同,但是由于本身的信息的不一致,又给补全回来了。这个补全回来的意思,用到了这里的互易性,加上贝叶斯模型上广泛的不一致问题。)
类型 | 条件自信息 | 互信息 |
---|---|---|
互易性 | (不一定具有)p(x|y) 跟 p(y|x)不一定相等 | 是 |
x,y独立时 | $I(X | Y) = I(X)$ |
正负性 | 不为负 | 可正可负 |