理解机器学习中常见参数估计方法

MLE算法

Maximum Likelihood Estimate (MLE) 中文名叫做极大似然估计。其核心思想是求解能够最大化拟合观测分布 $D$ 的参数 $\hat{\theta }$
$$\hat{\theta }=argmax(P(D)|\theta )$$
例如，假设抛硬币正面朝上的概率值$P(up)=\theta$, 反面朝上的概率值为$P(down)=1-\theta$ 。假设每次抛硬币的过程是条件独立的，且符合（0-1）分布。用${\alpha }_u$和${\alpha }_d$ 分别表示抛了若干次硬币之后观察到的正面朝上和反面朝上的次数。则
$$P(D|\theta )=P({\alpha }_u,{\alpha }_d|\theta )={\theta }^{{\alpha }_u}(1-\theta {)}^{{\alpha }_d}$$

利用MLE算法求解上述表达式:
$$\begin{gathered} {\hat{\theta }}_{MLE}=argmax(P(D)|\theta ) \\ {\hat{\theta }}_{MLE}=argmax(ln(P(D|\theta ))) \\ {\hat{\theta }}_{MLE}=argmax(ln({\theta }^{{\alpha }_u}(1-\theta {)}^{{\alpha }_d})) \end{gathered}$$

令其导数为0,求解极值点：
$$\frac{d}{d\theta }ln({\theta }^{{\alpha }_u}(1-\theta {)}^{{\alpha }_d})={\alpha }_u\frac{1}{\theta }-{\alpha }_d\frac{1}{1-\theta }=0$$

解得 ${\hat{\theta }}_{MLE}=\frac{{\alpha }_u}{{\alpha }_u+{\alpha }_d}$ 这符合我们的认知，概率值近似等于频率。

MAP 算法

Maximum a Posterior (MAP) 中文名叫最大后验概率估计。其核心思想是在极大似然估计(MLE)算法的基础上，假设参数$\theta$符合某先验分布$g(\theta )$则根据贝叶斯公式:
$$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$$

由于P(D) 是已知的观测分布可以忽略，因此$P(\theta |D)\propto P(D|\theta )P(\theta )$(这里的$\propto$表示“正比于”)，因此MAP的求解过程如下:
$${\hat{\theta }}_{MAP}=argmax(P(D)|\theta )P(\theta )={\hat{\theta }}_{MLE}g(\theta )$$

当参数$\theta$的分布为常数分布时，最大后验概率估计等价于极大似然估计，即 ${\hat{\theta }}_{MAP}={\hat{\theta }}_{MLE}$

EM 算法

Expectation-maximization algorithm (EM) 中文名叫期望最大化算法，其核心思想是当求解MLE算法或MAP算法的过程中依赖于某些不可观测的隐变量$Z$(不同于常规的可观测数据分布D，现在待计算的分布中有一些数据是不可观测的（例如缺失值），就需要使用EM算法)。则通过以下步骤进行参数估计：

1. 初始化分布参数 ($\theta$)
2. E步骤: 根据参数的假设值，给出未知变量（隐变量）的期望估计，应用于缺失值。
3. M步骤: 根据未知变量（隐变量）的估计值，给出当前的参数的极大似然估计${\hat{\theta }}_{MLE}$。

重复2，3过程，直到收敛。