机器学习笔记：各种熵

在机器学习中通常会使用各种熵来描述分布与分布之间的关系，如条件熵和交叉熵等，也有直接优化熵的模型，如最大熵模型。
这篇文章简单总结一下之前见到过的一些熵相关的概念。

---

信息量

定义

假设有离散随机变量 $X$ 满足分布 $P(X=x_i)=p_i$ ， 定义事件 $X=x_i$的信息量为
$$I(x_i)=-log(p_i)$$

性质

取值范围在 [0, +∞) 区间内
顾名思义，一个事件的信息量可以直观的理解为事件发生给人带来的信息多少。由定义可以看出当事件发生概率越小时，信息量越大。

---

信息熵

定义

信息熵用于描述随机变量 $X$ ，定义信息熵为信息量的期望值
$$H(X)=E_{x\sim P}[I(x)]=-\sum _{i=1}^n{p}_{i}log(p_i)$$

性质

取值范围在 [0, log(n)] 区间内
信息熵描述了随机变量的不确定性，当所有事件等可能地发生时，信息熵取得最大值
同样的可以定义联合分布 $P(X,Y)$ 和条件分布 $P(X|Y=y_i)$ 的信息熵

---

条件熵

定义

假设有离散随机变量 $X$ 和 $Y$ 满足联合分布 $P(X=x_i,Y=y_i)=$