统计学习--最大似然和贝叶斯估计的联系

概率和统计的区别

概率是已知模型和参数，推数据；统计是已知数据，推模型和参数

最大似然估计为点估计：

利用数据样本信息 

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计：

利用数据样本信息和先验知识

也即是在数据集X发生的情况下，哪一个参数yi发生的概率最大，称为后验概率，测试结果下，结果是真实的概率

一个较好的例子：

 

1、掷硬币实验

  试验为伯努利试验

 

极大似然估计的推导：

贝叶斯估计的推导

2、数据服从正态分布，依据样本估计u，通过极大似然估计和贝叶斯估计来阐述

极大似然估计推导：

贝叶斯估计：

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

 https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503