最大似然估计、最大后验概率估计、贝叶斯估计

一、基础知识
1、条件概率

2、全概率公式

3、贝叶斯公式

综上可得

4、似然和概率
在统计中，似然与概率是不同的东西。概率是已知参数，对结果可能性的预测。似然是已知结果，对参数是某个值的可能性预测。

二、参数估计

1、频率学派与贝叶斯学派
关于参数估计，统计学界的两个学派分别提供了两种不同的解决方案。频率学派认为参数虽然未知，但是客观存在的固定值，通过优化似然函数等准则来确定其值。贝叶斯学派认为参数是未观察到的随机变量，其本身也可有分布，因此，可假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布，比如最大后验概率。

2、最大似然估计
以投硬币为例，投十次，中正面朝上6次，反面朝上4次。
最大似然估计 (Maximum Likelihood Estimation，MLE)的思想是使得观测数据（样本）发生概率最大的参数就是最好的参数。构建似然函数：

参数为正面朝上的概率。
对其求导，令导数等于零，即可得参数的值。
一般，为计算方便和连乘造成下溢，通常使用对数似然，即先求对数，然后求导等于零。

最大似然估计的求解步骤：
a、确定似然函数
b、将似然函数转换为对数似然函数
c、求对数似然函数的最大值（求导，解似然方程）

3、最大后验概率估计
以投硬币为例，投十次，中正面朝上6次，反面朝上4次。
最大后验概率估计（Maximum A Posteriori Estimation，MAP）的公式如下：

X的先验分布是固定的，估第二项分母省略。
我们假设参数服从均值为0.5，方差为0.1的高斯分布。带入公式，如下：

或者假设先验分布为Beta分布：

取对数，求导等于零，对两个B分布参数进行假设（下边讲述如何估计B分布参数），即可得到估计的参数。
最大后验概率估计的求解步骤：
a、确定参数的先验分布以及似然函数
b、确定参数的后验分布函数
c、将后验分布函数转换为对数函数
d、求对数函数的最大值（求导，解方程）

4、贝叶斯估计
以投硬币为例，投十次，中正面朝上7次，反面朝上3次。
即假设参数服某一从分布。
贝叶斯公式：

此时，X的先验分布不能忽视。在连续随机变量中

带入贝叶斯公式。首先，假设参数的分布和样本的分布是同簇分布是合理的，这里边会有一个概念是共轭分布，丢硬币服从二项式分布，我们假设参数服从Beta分布（二项分布参数的共轭先验是Beta分布），带入公式，如下：

发现后验概率也服从B分布。
a、为何选择Beta分布
有份材料给出的理由如下：


b、如何估计B分布中的参数