交叉熵,相对熵, 最大似然之间的关系

UTF8gbsn

相对熵

• 离散型, 其中$P,Q$来自于同一个概率空间$\mathcal{X}$
  $$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\sum _{x\in \mathcal{X}}P(x)\log \left(\frac{P(x)}{Q(x)}\right)$$
  $$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=-\sum _{x\in \mathcal{X}}P(x)\log \left(\frac{Q(x)}{P(x)}\right)$$
  其中$Q(x)=0$时意味着$P(x)=0$,也就是说${\lim }_{x\to 0^{+}}x\log (x)=0$

• 连续型
  $$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\int }_{-\infty }^{\infty }p(x)\log \left(\frac{p(x)}{q(x)}\right)dx$$

基本例子

$$\begin{array}{cccc}x& 0& 1& 2\\ \text{ Distribution }P(x)& 0.36& 0.48& 0.16\\ \text{ Distribution }Q(x)& 0.333& 0.333& 0.333\end{array}$$

$$\begin{array}{rl}{D}_{\mathrm{K}\mathrm{L}}(P\Vert Q)& =\sum _{x\in \mathcal{X}}P(x)\ln \left(\frac{P(x)}{Q(x)}\right)\\ & =0.36\ln \left(\frac{0.36}{0.333}\right)+0.48\ln \left(\frac{0.48}{0.333}\right)+0.16\ln \left(\frac{0.16}{0.333}\right)\\ & =0.0852996\end{array}$$

$$\begin{array}{rl}{D}_{\mathrm{K}\mathrm{L}}(Q\Vert P)& =\sum _{x\in \mathcal{X}}Q(x)\ln \left(\frac{Q(x)}{P(x)}\right)\\ & =0.333\ln \left(\frac{0.333}{0.36}\right)+0.333\ln \left(\frac{0.333}{0.48}\right)+0.333\ln \left(\frac{0.333}{0.16}\right)\\ & =0.097455\end{array}$$

解释

总的来说相对熵的解释还是比较直观的.可以从信息论,机器学习, 编码理论,
贝叶斯推断的角度来解释.

1. 信息论和机器学习, 使用Q来代替P时,信息的变化量.

2. 编码理论, 使用Q来代替P时,需要增加的bit位数.

3. 贝叶斯推断, 当人的认知从先验概率Q转移到后验概率后信息的变化量.
   通常来说我们把P代表真是的分布, Q为一个近似的分布.

交叉熵

$$H(p,q)=-\sum _{x\in \mathcal{X}}p(x)\log q(x)$$

交叉熵和相对熵之间的存在一定的关系

$$H(p,q)=H(p)+D_{\mathrm{K}\mathrm{L}}(p\Vert q)$$

解释

1. 那么我们可以看到,实际上来说我们假设$p$是真实的分布,而$q$是我们训练出来的预测分布.那么求交叉熵的最小值,就等效与求相对熵的最小值.如此一来就代表说,
   p,q十分接近.

2. 另外交叉熵最小值实际上和最大似然估计最大值是等效的.首先,我们来看看极大似然估计的式子
   $$argma{x}_{\theta }\sum _{i=1}^{n}log(q(x_i|\theta ))$$
   也就是最小化
   $$argma{x}_{\theta }\sum _{i=1}^n-log(q(x_i|\theta ))$$

   由于真实分布$p(x)⩾0$所以,
   $$argmi{n}_{\theta }\sum _{i=1}^n-log(q(x_i|\theta ))\equiv argmi{n}_{\theta }\sum _{i=1}^n-p(x_i)log(q(x_i|\theta ))=argmi{n}_{\theta }H(p,q)$$