第十二课.统计推断的基本思想

统计推断的根源

对于统计推断的根源，先回顾贝叶斯公式：
$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}$$
其中，$\theta$是模型的参数（注意贝叶斯流派认为一切皆随机变量），$p(\theta )$是事先给定的参数的经验分布，$p(x|\theta )$是似然，$p(x)$是观测变量的概率，在某个给定的试验背景下，是一个常数，可以计算为：
$$p(x)={\int }_{\theta }p(x|\theta )p(\theta )d\theta$$
基于上述的贝叶斯公式，引出两个新概念：

• 贝叶斯推断：利用贝叶斯公式计算后验概率$p(\theta |x)$；
• 贝叶斯决策：在已有$N$个样本$X$的基础上，计算出现新增样本$\hat{x}$的概率：$p(\hat{x}|X)$，我们将模型参数$\theta$作为变换的桥梁即有：
  $$p(\hat{x}|X)={\int }_{\theta }p(\hat{x},\theta |X)d\theta ={\int }_{\theta }p(\hat{x}|\theta )p(\theta |X)d\theta$$可以看出贝叶斯决策的关键，需要先获得后验分布$p(\theta |X)$，再计算$p(\hat{x}|\theta )$关于$p(\theta |X)$的期望。

因此，计算后验分布会是各种工作的重要环节，也就是推断（inference）的过程。

精确推断与近似推断

在一些简单的情况下，后验分布可以直接计算精确的解析解，称之为精确推断，但是这种方法对参与贝叶斯公式的分布要求严格，比如高斯分布，我们可以通过公式就得到结果高斯分布的均值与方差。

但实际情况往往复杂，没有办法直接计算后验分布的解析解，因此只能用近似的方法得到后验分布，即近似推断。近似推断又分为两大类：

• 确定性近似：变分推断；
• 随机近似：MCMC（Markov Chain Monte Carlo），在实际问题中，随机近似用途更广泛。

本篇先讨论变分推断，我们的目的是找到一个分布$Q(\theta )$逼近一个没有办法找到解析解的后验分布$p(\theta |X)$，变分推断之所以称为确定性近似，是因为虽然结果不精确，但依然可以拿到一个解析解的形式。

我们令$X$是观测数据，$\theta$是参数，可以得到：
$$p(X,\theta )=p(X)p(\theta |X)\Rightarrow p(X)=\frac{p(X,\theta )}{p(\theta |X)}\Rightarrow$$$$log[p(X)]=log[p(X,\theta )]-log[p(\theta |X)]$$
我们引入$q(\theta )$近似目标后验分布$p(\theta |X)$：
$$log[p(X)]=(log[p(X,\theta )]-log[q(\theta )])-(log[p(\theta |X)]-log[q(\theta )])$$$$=log\frac{p(X,\theta )}{q(\theta )}-log\frac{p(\theta |X)}{q(\theta )}$$
我们现在得到一个等式：
$$log[p(X)]=log\frac{p(X,\theta )}{q(\theta )}-log\frac{p(\theta |X)}{q(\theta )}$$
其实对于这个式子，在EM算法中已经见过，所以在这里的处理方法类似，对左右两边同时乘以$q(\theta )$并求积分：

• 左边式子为：
  $${\int }_{\theta }log[p(X)]q(\theta )d\theta =log[p(X)]{\int }_{\theta }p(\theta )d\theta =log[p(X)]$$
• 右边式子为：
  $${\int }_{\theta }q(\theta )log\frac{p(X,\theta )}{q(\theta )}d\theta -{\int }_{\theta }q(\theta )log\frac{p(\theta |X)}{q(\theta )}d\theta ={\int }_{\theta }q(\theta )log\frac{p(X,\theta )}{q(\theta )}d\theta +{\int }_{\theta }q(\theta )log\frac{q(\theta )}{p(\theta |X)}d\theta$$

对于右边式子，注意两项，我们作以下标记：
$$L(q)={\int }_{\theta }q(\theta )log\frac{p(X,\theta )}{q(\theta )}d\theta$$$$KL(q||p)={\int }_{\theta }q(\theta )log\frac{q(\theta )}{p(\theta |X)}d\theta$$
其中，$KL(q||p)$是KL散度的定义，描述了$q(\theta )$和$p(\theta |X)$两个分布的距离，并且$KL(q||p)\ge 0$，因此有：
$$log[p(X)]=L(q)+KL(q||p)$$
对于$log[p(X)]$，可以视为与参数$\theta$无关的量，当$X$固定时，$log[p(X)]$的值也就固定，由于$KL(q||p)\ge 0$，因此$L(q)$的取值上限就是$log[p(X)]$，于是我们让$L(q)$取到最大，从而迫使$KL(q||p)=0$。当KL散度为0时，也就代表$q(\theta )$近似等于$p(\theta |X)$。

扩展：变分法和变分推断的关系

首先，我现在简要介绍变分，对于普通的函数$f(x)$，我们可以认为$f$是一个关于$x$的一个算子，其作用是将$x$映射到$f(x)$。那么类比这种模式，假设存在函数算子$F$，它是关于$f(x)$的函数算子，可以将$f(x)$映射成$F(f(x))$；

而变分指的是泛函的变分，泛函就是上面提到的函数的函数，一般，泛函空间的自变量我们称为宗量（自变函数），当宗量变化了一点微小量而导致了泛函值变化了多少，这就是变分（这可以与微积分中的函数微分进行对比，只是自变量换成了宗量）；

而回顾上面的变分推断，我们的目标是最大化$L(q)$，也就是要先找到$L(q)$的极值，所以我要先针对泛函$L(q)$计算它的变分，在微积分中可以理解为导数，我们在变分为0时，就找到了泛函的极值，也就是让泛函最优的宗量$q(\theta )$，这就是变分推断中变分的意义。