最大似然估计与贝叶斯估计的区别

为什么要有参数估计

举个很简单的实际例子，我们国家每隔一段时间需要进行人口普查，但是因为我国国土面积太大，人口太多，不太可能真正挨个人口进行统计，所以可以统计部分人口样本，然后根据这部分样本的参数去描述人口的总体分布情况。那为什么我们可以这么干？因为我们对整体分布的形式是知晓的，比如我们知道全国人民的身高体重服从正态分布，这样我们只需要取得部分样本的数据，然后估计正态分布的均值与方差即可。否则，我们就需要借助非参数的方法了。
再用一句简单的话来总结参数估计：模型已定，参数未知！

最大似然估计(Maximum Likehood Estimation MLE)

核心思想：找到参数θ的一个估计值，使得当前样本出现的可能性最大。谁大像谁！
步骤：
1.写似然函数
2.一般对似然函数取对数，并将对数似然函数整理
3.对数似然函数求导，令导数为0，求得似然方程
4.根据似然方程求解，得到的参数即为所求估计值
例子见参考链接一

贝叶斯估计

最大似然估计要估计的参数θ被当作是固定形式的一个未知变量，然后我们结合真实数据通过最大化似然函数来求解这个固定形式的未知变量！

贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思便是这个参数他不是一个固定的未知数，而是符合一定先验分布如：随机变量θ符合正态分布等！那么在贝叶斯估计中除了类条件概率密度p(x|w)符合一定的先验分布，参数θ也符合一定的先验分布。我们通过贝叶斯规则将参数的先验分布转化成后验分布进行求解！

同时在贝叶斯模型使用过程中，贝叶斯估计用的是后验概率，而最大似然估计直接使用的是类条件概率密度。

为什么要有参数估计(parameter estimation)
最大似然估计与贝叶斯估计的区别
贝叶斯估计和极大似然估计到底有何区别