参数估计——极大似然估计与贝叶斯估计

1 参数估计

参数估计（Parameter Estimation）是根据从总体中抽取的样本来估计总体分布中包含的未知参数的方法。包括：最小二乘估计（Least Square Estimation）、极大似然估计（Maximum Likelihood Estimation，MLE）贝叶斯估计（Bayesian Estimation）等。

参数估计问题可以描述为：总体$X$的概率密度函数为$f(x|\theta )$，根据观测到的一组样本$(x_1,x_2,...,x_n)\in \mathbb{R}$，来估计总体参数$\theta$的过程。

对于函数$f(x|\theta )$，有两个输入：$x$表示某一具体的数据，$\theta$表示模型的参数。

（1）如果$\theta$是已知确定的，$x$是变量，$f(x|\theta )$叫概率函数（Probability Function），它描述对于不同的样本点$x$，其出现的概率是多少。

（2）如果$x$是已知确定的，$\theta$是变量，$f(x|\theta )$叫似然函数（Likelihood Function），它描述对于不同的模型参数$\theta$，出现$x$这个样本点的概率是多少。

此外，在 A. Tarantola《Inverse Problem Theory and Methods for Model Parameter Estimation》一书中，关于似然函数的解释为：Likelihood function is the probability of the data given a certain value of the parameters.

2 极大似然估计（MLE）

极大似然估计是频率学派的观点，认为待估参数$\theta$是客观存在的，当$\theta ={\hat{\theta }}_{MLE}$时，观测样本$(x_1,x_2,...,x_n)$出现的可能性最大.

极大似然估计可描述为：
$$\begin{gathered} L(\theta |x)=f(x|\theta )=f(x_1,x_2,...,x_n|\theta )=\prod _{i=1}^{n}f(x_i|\theta ) \\ {\hat{\theta }}_{MLE}=\underset{\theta }{\mathrm{argmax}}L(\theta |x) \end{gathered}$$

因此，极大似然估计的目标为：求使得$f(x|\theta )=max$的 $\theta$ 的值。即：在$x=x_0$时，求一个${\theta }_0$，使得$x=x_0$发生的概率最大。

3 贝叶斯估计

贝叶斯估计是贝叶斯学派的观点，认为待估参数$\theta$也是随机变量，因此只能根据观测样本估计参数$\theta$的分布。

在贝叶斯估计中，利用了先验信息、观测信息来得到后验信息。先验信息是在未获取观测数据时对总体参数$\theta$已有的了解。贝叶斯公式可表示为：
$$P(\theta |x)=\frac{P(\theta )P(x|\theta )}{P(x)}$$
贝叶斯估计的数学描述为：
$$\pi (\theta |x)=\frac{f(x|\theta )\pi (\theta )}{m(x)}=\frac{f(x|\theta )\pi (\theta )}{\int f(x|\theta )\pi (\theta )d\theta }$$
式中$\pi (\theta )$为参数$\theta$的的先验分布，表示对参数$\theta$的主观认识，是非样本信息。$\pi (\theta |x)$为参数$\theta$的后验分布。因此，贝叶斯估计可认为是利用样本信息去校正先验分布，得到后验分布。

根据参数的后验概率密度分布$\pi (\theta |x)$可以估计参数$\theta$的值（或特征）。主要有：
（1）最大后验概率（MAP）
$${\hat{\theta }}_{MAP}=\underset{\theta }{\mathrm{argmax}}\pi (\theta |x)$$
（2）后验均值（期望）
$$\bar{\theta }=E(\pi (\theta |x))$$
通常取后验分布的期望作为参数的估值。除此之外，还可以根据后验分布$\pi (\theta |x)$计算参数的协方差矩阵、一维边缘概率密度等。通常需要借助采样方法进行求解（如MCMC等）。

4 极大验后估计（MAP）

在贝叶斯估计中，如果考虑采用极大似然估计的思想，令后验分布极大化求解$\theta$，作为参数的估计值，这就是极大后验估计。

极大验后估计可描述为：
$${\hat{\theta }}_{MAP}=\underset{\theta }{\mathrm{argmax}}\pi (\theta |x)=\underset{\theta }{\mathrm{argmax}}\frac{f(x|\theta )\pi (\theta )}{m(x)}=\underset{\theta }{\mathrm{argmax}}f(x|\theta )\pi (\theta )$$

因此，极大验后估计的目标为：求使得$\pi (\theta |x)=max$的 $\theta$ 的值。即：在$x=x_0$时，求一个${\theta }_0$，使得$\theta ={\theta }_0$发生的概率最大。

贝叶斯估计只能根据观测样本估计参数$\theta$的分布。但计算非常困难。因此，作为贝叶斯估计的一种近似解，MAP利用了从样本中无法获得的先验信息。

参考

https://zhuanlan.zhihu.com/p/61593112
https://blog.csdn.net/Gou_Hailong/article/details/121404135
https://blog.csdn.net/u011508640/article/details/72815981