MLE、MAP、贝叶斯估计、MCMC、EM

机器学习中的MLE、MAP、贝叶斯估计 - 李文哲的文章 - 知乎 https://zhuanlan.zhihu.com/p/37215276

上面这篇文章对所提到的三种方法做了清晰的对比。总结图：

另外文中总结：几点重要的Take-aways：

• 每一个模型定义了一个假设空间，一般假设空间都包含无穷的可行解；
• MLE不考虑先验（prior)，MAP和贝叶斯估计则考虑先验（prior）；
• MLE、MAP是选择相对最好的一个模型（point estimation）， 贝叶斯方法则是通过观测数据来估计后验分布(posterior distribution)，并通过后验分布做群体决策，所以后者的目标并不是在去选择某一个最好的模型；
• 当样本个数无穷多的时候，MAP理论上会逼近MLE；（数据中包含了先验知识）
• 贝叶斯估计复杂度大，通常用MCMC等近似算法来近似

MCMC（马尔科夫链蒙特卡洛）

在上面的bayesian估计方法中，常需要计算复杂分布的积分。由于这个操作很难拿到解析解，所以常需通过采样进行近似，也就是生成大量样本然后以样本sum操作替代积分。而当分布的cdf易知时是可以通过对cdf进行unifor