Maximizing likelihood is equivalent to minimizing KL-Divergence
Maximizing likelihood is equivalent to minimizing KL-Divergence
如题,现证明如下:
假设两个分布为p(x∣θ∗)p(x|\theta^*)p(x∣θ∗)和p(x∣θ)p(x|\theta)p(x∣θ),分别代表真实的数据分布和我们估计出来的数据分布,则:
KL Divergence
= DKL(p(x∣θ∗)∣∣p(x∣θ)))D_{KL}(p(x|\theta^*)||p(x|\theta)))DKL(p(x∣θ∗)∣∣p(x∣θ)))
原创
2020-07-05 09:58:35 ·
261 阅读 ·
0 评论