如何理解极大似然估计，最大后验估计，贝叶斯估计，共轭先验分布

1.极大似然估计（也称最大似然估计）

模型和观察数据X已知，模型参数未知。假设所有采样都是独立同分布的，得到让观察样本出现的概率最大的参数。

的最大似然估计： 

 

求最大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数，令导数为0，得到似然方程；

（4）解似然方程，得到的参数即为所求

 

2.最大后验估计

是根据经验数据获得对难以观察的量的点估计。最大后验估计融入了要估计量的先验分布在其中，故最大后验估计可以看做规则化的最大似然估计。

最大后验估计和最大似然估计的区别：最大后验估计允许我们把先验知识加入到估计模型中，这在样本很少的时候是很有用的（因此朴素贝叶斯在较少的样本下就能有很好的表现），因为样本很少的时候我们的观测结果很可能出现