【笔记】贝叶斯估计（Bayesian Estimation）

机器学习中经验风险最小化、结构风险最小化分别对应最大似然估计、最大后验估计

1. 极大似然估计

$$\begin{gathered} L(\theta ;x)=f(x;\theta )=f(x_1,...,x_n;\theta )=\prod _{N}f(x;\theta ) \\ {\hat{\theta }}_{ML}=\underset{\theta }{\mathrm{argmax}}L(\theta ;x)=\underset{\theta }{\mathrm{argmax}}\prod _{N}f(x;\theta ) \end{gathered}$$
另外，对数似然不会改变 argmax函数解，而且还可以将积变成和的形式
$${\hat{\theta }}_{ML}=\underset{\theta }{\mathrm{argmax}}\sum _{N}logf(x_i;\theta )$$
再进一步，似然函数除以m也不会改变解，所以可以写为：
$${\hat{\theta }}_{ML}=\underset{\theta }{\mathrm{argmax}}\mathbb{E}[logf(x;\theta )]$$

KL散度： 衡量经验分布f与模型分布F的log差异
$$D_{KL}(F||f)=\mathbb{E}[logF(x;\theta )-logf(x;\theta )]$$
左边一项仅涉及到数据生成过程，和模型无关。这意味着当我们训练模型最小化 KL
散度时，我们只需要最小化
$$-\mathbb{E}[logf(x;\theta )]$$
所以从最小化KL散度的角度，也可以得到最大似然估计。

1.2 条件对数似然

最大似然估计很容易扩展到估计条件概率 P(y | x;θ)，从而给定 x 预测 y 。
$${\theta }_{ML}=\underset{\theta }{\mathrm{argmax}}P(Y|X;\theta )$$
样本 X = { x 1 , . . . , x n } X=\{x_1,...,x_n\} X={x1​,...,xn​}独立同分布，用对数似然函数表示：
$${\theta }_{ML}=\underset{\theta }{\mathrm{argmax}}\sum _{N}logP(y_i|x_i;\theta )$$

2. 贝叶斯估计

贝叶斯公式：

贝叶斯估计:

其中，
$\pi (\theta )$为$\theta$的先验分布（prior distribution），表示对参数$\theta$的主观认识，非样本信息。贝叶斯派认为参数不是确定的，所以用随机变量表示，并且服从某个分布;
$\pi (\theta |x)$为$\theta$的后验分布（posterior distribution）；
和最大似然估计不同，贝叶斯方法使用 θ 的全分布，而非点估计；并且加入先验分布。

贝叶斯估计可以看作是，在假定$\theta$服从先验分布$\pi (\theta )$情况下，根据样本信息去校正先验分布，得到后验分布$\pi (\theta |x)$。
后验分布是一个条件分布，通常我们取后验分布的期望作为参数的估计值。

2.1 最大后验估计（Maximum A Posteriori estimation，MAP）

参数 θ 的完整贝叶斯后验分布进行预测，有时候是很难的。所以用单点估计来近似。
采用极大似然估计的思想，考虑后验分布极大化而估计$\theta$， 就变成了最大后验估计。

$m(x)$与$\theta$无关，简化计算。

对上面的式子稍作处理（取对数）：
取对数后，原来的似然函数变为对数似然函数，又加上$log\pi (\theta )$。可以认为$log\pi (\theta )$，为正则化项。所以，MAP可以认为是带有正则化项的最大似然学习。

当然，这并不是总是正确的，例如，有些正则化项可能不是一个概率分布的对数，还有些正则化项依赖于数据，当然也不会是一个先验概率分布。不过，MAP提供了一个直观的方法来设计复杂但可解释的正则化项，例如，更复杂的惩罚项可以通过混合高斯分布作为先验得到，而不是一个单独的高斯分布。

2.2 共轭先验

贝叶斯估计中，如果选取先验分布 $\pi (\theta )$ 和后验分布$\pi (\theta |x)$属于同一个分布族（即共轭分布），则称$\pi (\theta )$为似然函数$f(x|\theta )$的共轭先验.

共轭先验的选取有如下好处：
a).符合直观，先验分布和后验分布应该是相同形式的；
b).可以给出后验分布的解析形式；
c).可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

常见的共轭先验有：Beta分布（二项分布）、Dirichlet分布（多项分布）。

很显然，共轭先验的选取很大程度上是基于数学理论的方便性，带有很强的主观色彩，而这也是饱受频率学派诟病的一点。频率学派认为，只有在先验分布有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在统计推断中使用先验分布，否则就会丧失客观性。

参考

[1] https://zhuanlan.zhihu.com/p/61593112 （主要参考来源）
[2] 花书 5.6
[3] 概率学派和贝叶斯学派的区别
[4] 深度学习中的两种不确定性