Deep learning花书学习笔记(二)：信息熵、KL散度、交叉熵

信息论基本想法：

1. 可能性越大的事件信息量越少，极端情况下，确保一定发生的事件不具有任何信息量。
2. 可能性越小的事件具有更高的信息量。
3. 独立的事件应具有增量的信息。

满足上面三个性质：定义事件$X=x$自信息：
$$I(x)=-\log P(x)$$
上述公式是对单个事件的不确定性进行量化。

信息熵：

对整个概率分布的不确定性进行量化。
$$H(x)=E_{x\sim P}[I(x)]=E_{x\sim P}(\log (P(x))$$
它反映了对依据某个分布$P$产生的符号进行编码所需比特数的下界。分布$P$越均匀信息熵越大。、

KL散度：

KL散度用来衡量两个分布的差异：
$$D_{KL}(P||Q)=E_{x\sim P}\log (\frac{P(x)}{Q(x)})=E_{x\sim P}(\log P(x)-\log (Q(x)))$$
性质：
1：非负性。
2：非对称性：$D_{KL}(P||Q)\ne D_{KL}(Q||P)$

交叉熵：

$$H(P,Q)=H(P)+D_{KL}(P||Q)$$
与KL散度相比缺少了左边的一项，针对$Q$最小化交叉熵等价于最小化KL散度。因为$Q$并不参与左边的一项。