贝叶斯分析——单参数模型(下)

Informative prior distribution

5. Poisson model

基本推导

对于一个单独的数据点$y$而言，在参数为$\theta$的泊松分布下，其概率分布函数为，
$$p(y|\theta )=\frac{{\theta }^y{e}^{-\theta }}{y!}$$
，其中$y=1,2,...$。而对于一系列的观测值$y=(y_1,y_2,...y_n)$，每个观测相互独立的情况下，其泊松分布的概率(likelihood)表示为，
$$p(y|\theta )=\prod _{i=1}^n\frac{{\theta }^y{e}^{-\theta }}{y!}\propto {\theta }^{t(y)}{e}^{-n\theta }$$
其中，$t(y)={\sum }_{i=1}^n{y}_i$，将上式改写为exponential families的形式，
$$p(y|\theta )\propto e^{-n\theta }{e}^{t(y)log\theta }$$
这种形式对应的exponential families的natural parameter为$\varphi (\theta )=log\theta$，exponential families的形式下，待估计参数$\theta$的先验分布与exponential families的参数形式相同，即共轭先验，则$\theta$的先验分布可写为，
$$p(\theta )\propto (e^{-\theta }{)}^{\eta }{e}^{\nu log\theta }$$
，$\theta$的先验分布由$\eta$和$\nu$两个参数决定，将上面likelihood的算式改写为另一种更简洁的形式形式$p(y|\theta )\propto {\theta }^a{e}^{-b\theta }$，则$\theta$的分布依据exponential families的性质，必然遵循同样的参数形式，$p(\theta )\propto {\theta }^A{e}^{B\theta }$，以一种更明显的形式表示，
$$p(\theta )\propto e^{-\beta \theta }{\theta }^{\alpha -1}$$
上式是一个以$\alpha$和$\beta$为参数的Gamma分布。确定参数$\theta$的prior distribution和likelihood后可计算得到posterior distribution，
$$\theta |y\sim Gamma(\alpha +n\bar{y},\beta +n)$$
通过上面三个算式，可以计算观测值$y$的边缘分布(prior predictive distribution)，
$$p(y)=\frac{p(y|\theta )p(\theta )}{p(\theta |y)}$$
以一个观测值$y$为例，
$$\begin{gathered} p(y)=\frac{Possion(y|\theta )Gamma(\theta |\alpha ,\beta )}{Gamma(\alpha +y,1+\beta )} \\ =\frac{\Gamma (\alpha +y){\beta }^{\alpha }}{\Gamma (\alpha )y!(1+\beta {)}^{\alpha +y}} \end{gathered}$$
可以化简为，
$$p(y)=C_y^{\alpha +y-1}(\frac{\beta }{1+\beta }{)}^{\alpha }(\frac{1}{1+\beta }{)}^y$$
上式的形式与负二项分布(negative binomial distribution)的形式相同，即$y\sim Neg-binom(\alpha ,\beta )$。这一结果说明，负二项分布是泊松分布与Gamma分布的混合形式，
$$Neg-binom(y|\alpha ,\beta )=\int Possion(y|\theta )Gamma(\theta |\alpha ,\beta )d\theta$$

技巧

在很多场景中可以在多个数据点$y_1,y_2,...y_n$上对泊松分布进行拓展，
$$y_i\sim Poisson(x_i\theta )$$
其中，$x_i$是已知的解释变量，被称为"exposure of i^th unit"，$\theta$是被关注的未知参数。经过这一调整后，模型从unexchangeable的$y_i$变成了exchangeable的$(x,y{)}_i$，此时likelihood的形式变化如下，
$$p(y|\theta )\propto {\theta }^{({\sum }_{i=1}^n{y}_i)}{e}^{-({\sum }_{i=1}^n{x}_i)\theta }$$，$\theta$的共轭先验分布没有变化，依旧是$\theta \sim Gamma(\alpha ,\beta )$，此时$\theta$的后验分布服从
$$\theta \sim Gamma(\alpha +\sum _{i=1}^n{y}_i,\beta +\sum _{i=1}^n{x}_i)$$
这种技巧的关键在于，选取合理的exposure的值。

注释
exchangeable(可交换性)：统计分析的起点通常都是假设n个$y_i$​都是可交换的，也就是联合概率密度$p(y_1,...,y_n)$的结果不随着索引的变化而改变。可交换性的思想是统计的基础，在很多问题中都存在。通常把来自具有交换性的分布的数据看作是在给定未知参数$\theta$，其分布是$p(\theta )$时，独立同分布的样本（independently and identically, i.i.d.）。
当产出的结果信息是相关的，与索引位置有关的时候，需要建立不可交换的模型。

6. Exponential model

指数分布常用于时间序列问题，对于一个数据而言，其指数分布的likelihood表达式为，
$$p(y|\theta )=\theta e^{-y\theta }$$
，其中$y>0$。依据指数分布的性质，$E(y|\theta )=\frac{1}{\theta }$，即$\theta =\frac{1}{E(y|\theta )}$。此时是一种特殊的Gamma分布，$Gamma(1,\theta )$。然而,在这种情况下,它被用作一个抽样分布的结果,不是一个参数$\theta$的先验分布。

对于一系列的观测值$y=(y_1,y_2,...y_n)$，则likelihood表示为，
$$p(y|\theta )={\theta }^n{e}^{n\bar{y}\theta }$$
这一形式参考上一节的内容，待估计参数$\theta$的共轭先验分布服从Gamma分布。当有一系列数据点时，$p(\theta )\propto Gamma(n+1,n\bar{y})$

NonInformative prior distribution

当先验分布缺乏"population bias"时，先验分布是很难构建的。而且希望先验分布对后验分布的影响越小越好(因为有时候先验分布是过于主观的)。

1. proper and improper distribution

待补充

2. Jefferys’ invariance principle

待补充