最大似然估计与最大后验估计

前言

本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。

MLE VS MAP

最大似然函数（MLE）和最大后验概率估计（MAP）是两种完全不同的估计方法，最大似然函数属于频率派统计（认为存在唯一真值 θ），最大后验估计属于贝叶斯统计（认为 θ 是一个随机变量，符合一定的概率分布），这是两种认识方法的差异。模型不变，概率是参数推数据，统计是数据推参数。

最大似然估计

似然函数是一种关于模型中参数的函数，是根据模型的观测值，估计模型中参数的值。给定输出 x ，关于 θ 的似然函数 L(θ|x) 数值上等于给定参数 θ 后变量 X 的概率。其数学定义为：

$$L(\theta |x)=f_{\theta }(x)=P_{\theta }(X=x)$$

最大似然估计是其中的一种好的估计，在样本趋近于无穷时，最大似然是收敛率最好的渐进估计，且由于它的一致性和统计效率，在机器学习中也是首选的估计方法。在独立同分布情况下：

$$\begin{gathered} {\hat{\theta }}_{MLE}=argmaxP(X;\theta )=argmaxP(x_1;\theta )P(x_2;\theta )...P(x_n;\theta )=argmax\log \prod _{i=1}^{n}P(x_i;\theta ) \\ =argmax\sum _{i=1}^n\log P(x_i;\theta )=argmin-\sum _{i=1}^n\log P(x_i;\theta )//负对数似然 \end{gathered}$$

由于对数函数单调增，因此想要求 L 的最大值，可以求其对数作为求其最大值的函数，这样求出的结果是相同的。深度学习所做分类任务中用到的交叉熵本质是求最大似然函数。

条件最大似然估计

$${\hat{\theta }}_{MLE}=argmaxP(Y|X;\theta )=argmax\sum _{i=1}^m\log P(y^{(i)}|x^{(i)}|\theta )$$

最大后验估计

贝叶斯公式：

$$P(\theta |x)=\frac{P(x|\theta )P(\theta )}{P(x)}$$

其中 P(x|θ) 是似然函数，P(θ) 是先验概率。

则最大后验估计的数学定义为：

$${\hat{\theta }}_{MAP}(x)=\arg \underset{\theta }{\max }f(\theta |x)=\arg \underset{\theta }{\max }\frac{f(x|\theta )g(\theta )}{{\int }_{\vartheta }f(x|\vartheta )g(\vartheta )d\vartheta }=\arg \underset{\theta }{\max }f(x|\theta )g(\theta )$$

theta 为需要估计的参数，f 为概率，g 为先验估计，最大化后验估计通过 f·g 求得。当先验分布为常数时，最大后验估计与最大似然估计重合。

总结

最大似然估计与最大后验估计对比分析。