17.第七章 Bayes方法和统计决策理论(1)

第七章 Bayes方法和统计决策理论(1)

1.Bayes学派的观点

经典统计学作统计推断的信息来源，是总体信息和样本信息，即总体来自哪个分布族，还有抽样得到的样本观测值以及依据样本算得的统计量值。贝叶斯学派还依赖于先验信息，即在进行抽样之前，有关统计推断问题中未知参数的一些信息，来自资料、历史等外界因素。

先验分布：参数空间$\Theta$上的任一概率分布都称为先验分布，这种分布主要是在抽取样本$X$之前，对参数$\theta$可能取值的一种认识，记作$F^{\pi }(\theta )$，密度函数记作$\pi (\theta )$。

后验分布：在人们获取样本后，对$\theta$的新认识，记作$F^{\pi }(\theta |x)$，密度函数记作$\pi (\theta |x)$。这是由于样本中也包含关于参数$\theta$的信息，当获得样本后，对$\theta$的认知就会发生一些变化和调整。因此后验分布可以看做人们用总体信息和样本信息对先验分布作出调整的结果。

也就是说，贝叶斯理论将未知参数也看作随机变量，它与$X$有着同样的地位。由贝叶斯公式，在获得样本后$\theta$的后验密度为
$$\pi (\theta |x)=\frac{f(x,\theta )}{m(x)}=\frac{f(x|\theta )\pi (\theta )}{{\int }_{\Theta }f(x|\theta )\pi (\theta )d\theta }$$

当获得后验分布以后，对未知参数$\theta$的任何统计推断都必须且只能基于后验分布。

2.先验分布的确定

主观概率：主观概率是人们根据经验对事件发生机会的个人信念，这尤其适用于事件无法大量重复确定频率的情况。主观概率的来源可能是预测、专家意见、历史资料等等。

利用主观概率、频率等先验信息，可以确定先验分布。确定先验分布的方法有直方图、相对似然法、选定先验密度估计超参数（超参数指$\pi (\theta )$为参数分布时里面的未知参数）等。

贝叶斯统计学是依赖于先验信息的，但没有先验信息或者先验信息极少的情况下要运用贝叶斯方法，就要无信息先验的方法。无信息先验的要求是“同等无知”，就是对参数空间$\Theta$中每一点同等看待。如果$\Theta$是离散有限集 { θ 1 , ⋯   , θ n } \{\theta_1,\cdots,\theta_n\} {θ1​,⋯,θn​}，则可以取$\pi (\theta )=\mathbf{P}(\theta ={\theta }_i)=1/n$；如果$\Theta$是有限连续集$[a,b]$，则取$\pi (\theta )=\frac{1}{b-a}{I}_{(a,b)}(\theta )$，但如果$\Theta$取无限的连续集，就不能简单地找到常数概率函数。为此引入广义先验分布，它需要满足两个条件：

• $\pi (\theta )\ge 0,{\int }_{\Theta }\pi (\theta )d\theta =\infty$；
• 后验密度$\pi (\theta |x)$是正常的密度函数。

这样，就可以引入$\pi (\theta )\equiv 1$作为此时的无信息先验分布了。广义先验分布中，常数因子不影响后验密度的形式。

对于位置参数，一般表现为$f(x-\theta )$，选取$\pi (\theta )=1$作为无信息先验分布是合理的；对于尺度参数，一般表现为${\sigma }^{-1}\phi (x/\sigma )$，此时应该选择先验分布为$\pi (\sigma )=1/\sigma$。如正态分布$N(\mu ,{\sigma }^2)$的密度函数是 f ( x ) = 1 2 π σ exp ⁡ { − ( x − μ ) 2 2 σ 2 } f(x)=\frac{1}{\sqrt {2\pi}\sigma}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} f(x)=2π ​σ1​exp{−2σ2(x−μ)2​}，这里$\mu$是位置参数，$\sigma$是尺度参数。

对于非位置参数与非尺度参数，一般采用Jeffreys无信息先验，其一般步骤是：

1. 写出样本的对数似然函数为
   $$l(\mathbf{\theta }|x)=\ln \left[\prod _{i=1}^{n}f(x_i|\mathbf{\theta })\right]=\sum _{i=1}^n\ln f(x_i|\mathbf{\theta })$$

2. 写出样本信息矩阵为
   $$\mathbf{I}(\mathbf{\theta })=(I_{ij}(\mathbf{\theta }){)}_{p\times p},I_{ij}(\mathbf{\theta })=E_{\mathbf{X}|\theta }\left\{-\frac{{\partial }^{2}l}{\partial {\theta }_i\partial {\theta }_j}\right\}$$
   对于一维参数，信息函数就是 I ( θ ) = E X ∣ θ { − ∂ 2 l ∂ θ 2 } I(\theta)=E_{X|\theta}\{-\frac{\partial^2l}{\partial\theta^2}\} I(θ)=EX∣θ​{−∂θ2∂2l​}。

3. 参数$\mathbf{\theta }$的无信息先验就是$\pi (\mathbf{\theta })=[\det \mathbf{I}(\mathbf{\theta }){]}^{1/2}$，单参数时$\pi (\theta )=[I(\theta ){]}^{1/2}$。也就是说，单参数情况下无信息先验密度就是信息函数开方。

3.共轭先验分布

共轭先验分布族：设$\theta$是总体分布中的参数，$X$的分布为$f(x|\theta )$，如果任取先验分布$\pi (\theta )\in \mathcal{F}$与样本$x$，后验分布$\pi (\theta |x)$仍属于$\mathcal{F}$，则称$\mathcal{F}$是一个共轭先验分布族。

常用的共轭先验分布如下表：

总体分布	参数	共轭先验分布	核
二项分布$b(n,p)$	$p$	$\mathrm{B}$分布	$p^{a-1}(1-p{)}^{b-1}$
泊松分布$P(\lambda )$	$\lambda$	$\Gamma$分布	${\lambda }^{a-1}{e}^{-b\lambda }$
指数分布$E(\lambda )$	$1/\lambda$	${\Gamma }^{-1}$分布	${\lambda }^{-(a+1)}{e}^{-\frac{b}{\lambda }}$
指数分布$E(\lambda )$	$\lambda$	$\Gamma$分步	${\lambda }^{a-1}{e}^{-b\lambda }$
正态分布$N(\mu ,{\sigma }^2)$	$\mu$	正态分布	$e^{a{\mu }^2+b\mu }$
正态分布$N(\mu ,{\sigma }^2)$	${\sigma }^2$	${\Gamma }^{-1}$分布	${\lambda }^{-(a+1)}{e}^{-\frac{b}{\lambda }}$