贝叶斯多层先验分布

什么是多层先验分布？

所给定的先验分布中超参数难以确定时，可以对超参数再给出一个先验，第二个先验称为超先验。由先验和超先验决定的一个新先验就称为多层先验。

简单来说，就是对你之前原本的先验分布上，再假设一层先验分布，这就是两层先验分布。（当然如果不嫌麻烦，可以无穷层的orz…）

---

例：

我们以一个例子来说明：
设某产品的不合格率为$\theta$，

• $\theta$的先验为$\pi_1(\theta|\lambda) = U(0, \lambda)$.
• $\lambda$的超先验为$\pi_2(\lambda) = U(0.1, 0.5)$.

利用边际分布计算公式，可得$\theta$的先验为

$$\pi(\theta) = \int_\Lambda \pi_1(\theta|\lambda)\pi_2(\lambda)d\lambda$$

在此例中

$$\pi(\theta) = \dfrac{1}{0.5-0.1}\int_{0.1}^{0.5} \lambda^{-1}I_{(0,\lambda)}(\theta)d\lambda$$
即当 $0<\theta<0.1$时，
$$\pi(\theta) = \dfrac{1}{0.4}\int_{0.1}^{0.5} \lambda^{-1}d\lambda=2.5 \ln 5$$
当 $0.1\leqslant\theta<0.5$时，
$$\pi(\theta) = 2.5\int_{0.5}^{\theta} \lambda^{-1}d\lambda=2.5 (\ln 0.5 - \ln \theta)$$
当 $0.5\leqslant \theta\leqslant 1$时，
$$\pi(\theta) = 0$$

在理论上没有限制多层先验只分两步，可以是三步或更多步，但在实际应用中多于两步的先验是罕见的，对第二步先验$\pi_2(\lambda)$用主观概率或用历史数据给出是有困难的，因为人常是不能观察的，甚至连间接观察都是难以进行的。很多人用无信息先验作为第二步的先验。因为第二步先验即使决定有偏差，而导致错误结果的危险性更小一些，相对说来，第一步先验更为重要。

多层先验常常是在这样一种场合使用，当一步给出先验$\pi(\theta)$没有把握时。那用两步先验要比强行用一步先验所冒风险要小一些。但是实际的应用上，就个人而言，多层先验分布应用的地方真的不多，甚至可以说很少，因为一层先验能解决的问题为什么要用到两层呢？