MLE估计和MAP估计 —— 基础解析与实例

0. 开头

最近在学习机器学习的过程中，了解到了三种参数估计方法，最大似然估计（Maximum Likelihood Estimation）、最大后验概率估计（Maximum A Posterior Estimation）和贝叶斯估计（Bayesian Estimation）。MLE估计较为基础，大多数本科阶段数理统计课程都会有所涉及，故一笔略过；本文重点介绍后两类参数估计方法，并逐一给出示例。

1. MLE估计

MLE估计的假设条件是随机变量独立同分布，因此若我们知道随机变量总体的分布（概率密度函数），其样本点的联合概率密度函数可写作:
$$f(x_1,x_2,x_3,......,x_n,\Theta )=f(x_1,\Theta )\ast f(x_2,\Theta )\ast f(x_3,\Theta )\ast ......\ast f(x_n,\Theta )$$
其核心思想就是求解未知参数使得当前样本发生的概率最大，用数学表达式写出来就是(此处默认只有一个参数)：
$${\hat{\Theta }}_{ML}=argmaxf(x_1,x_2,...,x_n|\Theta )$$

1.1 MLE估计实例

抛硬币十次，结果6正4反。假设如果正面朝上，随机变量X取1，反之取0，故我们得到一组样本
{1,1,1,1,1,1,0,0,0,0}。很明显X符合伯努利分布，其概率密度函数（pdf）为：
$$f_x={\Theta }^x(1-\Theta {)}^{(1-x)}$$
从常识来说，我们都知道投掷一枚正常的硬币，得到正面的概率为0.5，但是现在假设我们并不知道参数的总体分布，仅依据十个样本点推断概率的总体估计。因为X是独立同分布的，我们写出10次试验的联合概率密度函数：
$$f(x_1,x_2,x_3,......,x_{10},\Theta )={\Theta }^{}$$