从贝叶斯公式到 MAP（Maximum A Posterior，最大后验）

In Bayesian statistics, we want to estimate the posterior distribution, but this is often intractable due to the high-dimensional integral in the denominator (marginal likelihood, $p(X)$). A few other ideas we have encountered that are also relevant here are Monte Carlo integration with independent samples and the use of proposal distributions (e.g. rejection and importance sampling). As we have seen from the Monte Carlo inttegration lectures, we can approximate the posterior $p(\theta|X)$ if we can somehow draw many samples that come from the posterior distribution.

1. 基本形式

$$P(\theta|\mathcal{D})=\frac{P(\theta)P(\mathcal{D}|\theta)}{P(\mathcal{D})}$$

• $P(\theta|\mathcal{D})$：后验概率，posterior

• $P(\theta)$：先验概率，prior

• $P(\theta|\mathcal{D})$：似然概率，likelihood

• $P(D)=\int P(\theta^*)P(D|\theta^*)d\theta^*$，边缘似然，marginal likelihood

  • $\sum\limits_{i=1}^2P(D|\theta_i)P(\theta_i)$，也叫证据因子（evidence）

2. 对数形式：

$$\log P(\theta|\mathcal{D})\propto\begin{bmatrix}\log P(\theta)+\log P(\mathcal{D}|\theta)\end{bmatrix}$$

• $\log P(\theta|\mathcal{D})$：log posterior

• $\log P(\theta)$：log prior

• $\log P(\mathcal{D}|\theta)$：log likelihood

3. MAP

由以上二式我们自然可推导出如下的所谓最大后验概率（Maximum a Posterior，MAP）估计式：

$$\begin{split} \theta_{\textrm{MAP}}=&\arg\max_\theta P(\theta|\mathcal{D})\\ =&\arg\max_\theta \log P(\theta|\mathcal{D})\\ =&\arg\max_\theta \left [\log(P(\theta)+P(\mathcal{D}|\theta))\right ]\\ =&\arg\min_\theta\left [-\log P(\theta)-\log P(\mathcal{D}|\theta) \right ] \end{split}$$

对应于稀疏表示理论的物理意义，即可将上式转换为：

$$x_{\textrm{MAP}}=\arg\min_x \left[\|y-Ax\|_2^2+\lambda \|x\|_p\right ]$$

numerical integration

$$p(X)=\int d(\theta^*)p(\theta^*)p(X|\theta^*)$$

One simple way of numerical integration is to estimate the values on a grid of values for $\theta$. To calculate the posterior, we find the prior and the likelhood for each value of $\theta$, and for the marginal likelhood, we replace the integral with the equivalent sum

$$p(X)=\sum p(X|\theta^*)p(\theta^*)$$

4. 最大似然（ML）与最大后验（MAP）

$$P(\theta|X)\propto P(\theta)P(X|\theta)\\ 后验（posterior）正比于先验（prior）乘以似然（likelihood）$$

最大似然即是：$\arg\max P(X|\theta)=\arg\max \log P(X|\theta)$

最大后验即是：$\arg\max P(\theta|X)=\arg\max P(\theta)P(X|\theta)$（将先验与似然相作用）

5. nuisance parameters 的处理

对待一些无关参数（nuisance parameters，如 $P(B,p|D)$中的 $p$），贝叶斯的思路是将之边际化（marginalization）或者对无关参数在其整个定义域上对联合分布进行积分。

$$P(B|D)=\int P(B,p|D)dp \quad \left [P(B|D)=\int P(B|p,D)dp\right ]$$

$$p(\mathcal W)=\int p(\mathcal W|\vec p)p(\vec p)d\vec p$$

注意两个公式的区别，前者是边际化，也即求边缘概率。
而后者其实是全概率公式。

再来推导如下的等式：

$$P(B,p|D)=P(B|p,D)P(p|D)$$
其实用的是条件概率的关系，还记得贝叶斯公式是如何通过条件概率计算而来的吗：
$$P(A|B)=\frac{P(A,B)}{P(B)}\\ P(B|A)=\frac{P(A,B)}{P(A)}\\ \Downarrow\\ P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$
$P(A,B)$表示的是联合概率分布；
则：
$$P(B,p|D)=\frac{P(B,p,D)}{P(D)}=\frac{P(B|p,D)P(p,D)}{P(D)}=P(B|p,D)P(p|D)$$
最后有：
$$\begin{split} P(B|D)=&\int P(B,p|D)dp =&\int P(B|p,D)P(p|D)dp \end{split}$$
最后再来看如下的一个等式：
$$P(\mathcal W|\vec \alpha)=\int P(\mathcal W|\vec p)P(\vec p|\vec \alpha)d\vec p$$