机器学习面试必知：MLE最大似然估计与MAP最大后验概率

MLE
模型已定，参数未知，MLE的目标就是找出一组参数，使得模型产生出的观测数据的概率最大$arg\underset{u}{\max }p(X;u)$
假设抛十次硬币TTTHTTTHTT（H正，T反）假设正面朝上的概率是$u$
$$p(x;u)=\prod _{i}p(x_i;u)=\prod _{i=1}^n{u}^{x_i}(1-u{)}^{x_i}$$对$u$求导等于零可以得到$${\hat{u}}_{ML}=\frac{1}{n}\sum _i^n{x}_i$$可以看到MLE方法只与观测样本有关，观察十次按照MLE方法得到的$u$明显不符合实际。可以想象得到如果观测样本不足（欠拟合）或者太多（过拟合）。

MAP
为了解决MLE存在的问题，我们利用贝叶斯定理给$u$的估计加上一个先验概率限制，这个先验概率由经验给出或者由总结出来的知识得到。MAP优化的是一个后验概率$$arg\underset{u}{\max }p(u|x)=arg\underset{u}{\max }\frac{p(x|u)p(u)}{p(x)}\propto arg\underset{u}{\max }p(x|u)p(u)$$$p(x|u)$是似然函数，$p(u)$是先验知识。取对数后可以得到$$arg\underset{u}{\max }\mathrm{l}\mathrm{n}\prod _{i=1}^{n}p(x_i|u)+\mathrm{l}\mathrm{n}p(u)$$其中$$\mathrm{l}\mathrm{n}\prod _{i=1}^{n}p(x_i|u)=\sum _{i=1}^n\mathrm{l}\mathrm{n}[u^{x_i}(1-u{)}^{x_i}]$$对于给定的概率分布$p(x|u)$，我们能找到一个先验分布使与其似然函数共轭，从而后验分布的函数形式与先验分布相同。伯努利分布中共轭先验是Beta分布。$$p(u)=Beta(u|\alpha ,\beta )=\frac{1}{B(\alpha ,\beta )}{u}^{\alpha -1}(1-u{)}^{\beta -1}$$对其求导数等于零最后能求得$${\hat{u}}_{MAP}=\frac{n_H+\alpha -1}{n+\alpha +\beta -2}$$$n_H$表示正面朝上的硬币数，n是总的观察次数。