Maximizing likelihood is equivalent to minimizing KL-Divergence

如题，现证明如下：

假设两个分布为$p(x|{\theta }^{\ast })$和$p(x|\theta )$，分别代表真实的数据分布和我们估计出来的数据分布，则：

1. KL Divergence
   = $D_{KL}(p(x|{\theta }^{\ast })||p(x|\theta )))$
   = $E_{x\sim p(x|{\theta }^{\ast })}[log\frac{p(x|{\theta }^{\ast })}{p(x|\theta )}]$
   = $E_{x\sim p(x|{\theta }^{\ast })}[logp(x|{\theta }^{\ast })]-E_{x\sim p(x|{\theta }^{\ast })}[logp(x|\theta )]$
   = $-H(p(x|{\theta }^{\ast }))-E_{x\sim p(x|{\theta }^{\ast })}[logp(x|\theta )]$

可以看出，此时第一项和参数$\theta$无关了，所以
minimize KL Divergence
=minimize { − H ( p ( x ∣ θ ∗ ) ) − E x ∼ p ( x ∣ θ ∗ ) [ l o g p ( x ∣ θ ) ] } \{-H(p(x|\theta^*))-E_{x\sim p(x|\theta^*)}[log p(x|\theta)]\} {−H(p(x∣θ∗))−Ex∼p(x∣θ∗)​[logp(x∣θ)]}
=minimize$[-E_{x\sim p(x|{\theta }^{\ast })}[logp(x|\theta )]]$
=maximize$[E_{x\sim p(x|{\theta }^{\ast })}[logp(x|\theta )]]$
=maxmize likelihood

得证。

这样，我们在做极大似然估计的时候，相当于获得了一个对真实分布的近似分布。

参考：https://wiseodd.github.io/techblog/2017/01/26/kl-mle/