机器学习中的距离/散度/熵

一、信息量

1. 定义：用一个信息的编码长度。
2. 性质：编码长度与出现的概率成负相关。（如：哈夫曼编码）
3. 公式（0/1编码）
   $$I={\log }_2(\frac{1}{p(x)})=-{\log }_2(p(x))$$

二、信息熵

1. 定义：一个分布的信息量。（编码的平均长度/信息量的均值）
2. 公式
   $$H(p)=\sum _{x}p(x)lo{g}_2(\frac{1}{p(x)})=-\sum _{x}p(x){\log }_2(p(x))$$

三、交叉熵 cross-entropy

1. 定义：用猜测的分布$(p)$的编码方式 编码 真实的分布$(q)$，得到的平均编码长度/信息量均值。