极大似然估计（MLE）与最大后验概率（MAP）的公式推导与联系

符号定义

令 $\omega$ 为需要求解的模型参数集合， D = { D 1 , D 2 , ⋯   , D n } D = \{ D_1, D_2, \cdots, D_n \} D={D1​,D2​,⋯,Dn​} 为训练样本集合。

极大似然估计（MLE）

极大似然估计可认为是求解以下公式：
M L E :   arg ⁡ max ⁡ p ( D ∣ ω ) = arg ⁡ max ⁡ p ( { D 1 , D 2 , ⋯   , D n } ∣ ω ) = arg ⁡ max ⁡ ∏ i = 1 n p ( D i ∣ ω ) = arg ⁡ max ⁡ ∑ i = 1 n log ⁡ p ( D i ∣ ω ) \begin{aligned} MLE :\ &\arg\max p(D | \omega) \\ = &\arg\max p(\{ D_1, D_2, \cdots, D_n \} | \omega) \\ = &\arg \max \prod_{i=1}^n p(D_i | \omega) \\ = &\arg \max \sum_{i=1}^n \log p(D_i | \omega) \end{aligned} MLE: ===​argmaxp(D∣ω)argmaxp({D1​,D2​,⋯,Dn​}∣ω)argmaxi=1∏n​p(Di​∣ω)argmaxi=1∑n​logp(Di​∣ω)​
将 ${\sum }_{i=1}^n\log p(D_i|\omega )$ 记为 $t_{mle}$，得 $MLE:\arg \max t_{mle}$。

最大后验概率（MAP）

最大后验概率可认为是求解以下公式：
$$\begin{array}{rl}MAP:& \arg \max p(\omega |D)\\ =& \arg \max \frac{p(D|\omega )p(\omega )}{p(D)}\end{array}$$
由于训练求解的是模型参数，故
$$\begin{array}{rl}MAP:& \arg \max p(D|\omega )p(\omega )\\ =& \arg \max (\log p(D|\omega )+\log p(\omega ))\\ =& \arg \max (\sum _{i=1}^n\log p(D_i|\omega )+\log p(\omega ))\\ =& \arg \max (t_{mle}+\log p(\omega ))\end{array}$$
假设模型参数遵从的先验分布为高斯（正态）分布，即 $\omega \sim N(0,1)$，得 $p(\omega )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{{\omega }^2}{2}}$，故
$$\begin{array}{rl}MAP:& \arg \max (t_{mle}+\log \frac{1}{\sqrt{2\pi }}{e}^{-\frac{{\omega }^2}{2}})\\ =& \arg \max (t_{mle}-\frac{1}{2\sqrt{2\pi }}{\omega }^2)\\ =& \arg \max (t_{mle}+\lambda {\omega }^2)\end{array}$$
假设模型参数遵从的先验分布为拉普拉斯分布，即 $\omega \sim La(0,1)$，得 $p(\omega )=\frac{1}{2}{e}^{-|\omega |}$，故
$$\begin{array}{rl}MAP:& \arg \max (t_{mle}+\log \frac{1}{2}{e}^{-|\omega |})\\ =& \arg \max (t_{mle}-\frac{1}{2}|\omega |)\\ =& \arg \max (t_{mle}+\lambda |\omega |)\end{array}$$

联系

最终，我们可以发现最大后验概率（MAP）相当于在极大似然估计（MLE）的基础上增加了一个正则项，若参数先验遵从正态分布，则为L2正则项，若遵从拉普拉斯分布，则为L1正则项。