自信息、香农熵、互信息、交叉熵、KL散度备忘录

机器学习中相关信息度量的备忘录

自信息

自信息(self-information)用来衡量单一随机事件发生时所包含的信息量的多寡。

$$I(p_i) = -log(p_i)$$

香农熵

香农熵是随机事件X的所有可能结果的自信息期望值。

$$H(x) = E_{x \sim P}[I(x)] \\ = -\sum_{i=1}^n p(x_i)I(x_i)\\ = -\sum_{i=1}^n p(x_i)log_b(p(x_i))$$

互信息

互信息用来表示随机事件X和随机事件Y之间的相关性。

I(X,Y)=H(X)+H(Y)