贝叶斯统计推断笔记

一、贝叶斯点估计

1. 条件方法
   后验分布$\pi (\theta |x)$是在样本$x$给定下$\theta$的条件分布，基于后验分布的统计推断就意味着只考虑已出现的数据（样本观测值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法被称为条件方法。它与“频率方法”之间具有很大的差别。例如在对估计量的无偏性的认识上，经典统计学认为参数$\theta$的无偏估计$\hat{\theta }(\mathbf{X})$应满足：
   $$E[\hat{\theta }(\mathbf{X})]={\int }_{\mathcal{X}}\hat{\theta }(\mathbf{x})p(\mathbf{x}|\theta )d\mathbf{x}=\theta$$
   其中平均是对样本空间中所有可能出现的样本而求，可实际中样本空间中绝大多数样本尚未出现过，甚至重复数百次也不会出现的样本也要在评价估计量$\hat{\theta }$的好坏中占一席之地，何况在实际中不少估计量只使用一次或几次，而多数从未出现的样本也要参与平均是使实际工作者难以理解的，这就是条件观点。因此在贝叶斯统计推断中不使用无偏性，而条件方法是容易被实际工作者理解和接受的.

2. 贝叶斯点估计
   定义1.1
   用后验密度$\pi (\theta |x)$达到最大值时$\theta$之值作为估计量，称为$\theta$的后验众数估计（posterior mode estimator）或广义最大似然估计，记为 ${\hat{\theta }}_{MD}$.
   用后验分布的中位数作为$\theta$的估计量，称为后验中位数估计（posterior median estimator）,记为${\hat{\theta }}_{ME}$
   用后验分布的期望值作为$\theta$的估计量，称为后验期望估计（posterior expectation estimator），记为${\hat{\theta }}_E$.

   注： 一般场合下这三种估计是不同的，但当后验密度为单峰对称时，$\theta$的三种贝叶斯估计重合。使用时可根据需要选择其中的一种。一般来说，当先验分布为共轭先验时，上述三种估计比较容易求得。

3. 贝叶斯点估计的精度——估计的误差
   设$\theta$的后验分布为$\pi (\theta |x)$， $\theta$的贝叶斯估计为$\delta (x)$.
   在经典方法中衡量一个估计量的优劣要看其均方误差，一个估计量均方误差（MSE）越小越好。
   此处对贝叶斯估计 $\delta (x)$，衡量它的优劣用下面的后验均方误差（posterior mean square error，简记为PMSE）,即用
   $$PMSE(\delta (x))=E^{\theta |x}[(\theta -\delta (x){)}^2]$$ 来度量估计量$\delta (x)$的精度，PMSE越小越好。若记${\mu }^{\pi }(x)$为$\theta$ 的后验均值，特别当 $\delta (x)=E(\theta |x)={\mu }^{\pi }(x)$时，则$\delta (x)$的PMSE为后验方差，即
   $$PMSE(\delta (x))=E^{\theta |x}[(\theta -{\mu }^{\pi }(x){)}^2]=V^{\pi }(x)$$其中$V(x{)}^{\pi }$为$\theta$的后验方差。对$\theta$的任一估计$\delta (x)$，其后验均方误差$PMSE(\delta (x))$与它的后验方差$V^{\pi }(x)$的关系如下：
   $$\begin{array}{rl}PMSE(\delta (x))& =E^{\theta |x}[(\theta -\delta (x){)}^2]\\ & =E^{\theta |x}[(\theta -{\mu }^{\pi }(x))+({\mu }^{\pi }(x)-\delta (x)){]}^2\\ & =V^{\pi }(x)+[{\mu }^{\pi }(x)-\delta (x){]}^2\ge V^{\pi }(x)\end{array}$$ 注：$2E^{\theta |x}(\theta -{\mu }^{\pi }(x))({\mu }^{\pi }(x)-\delta (x))$中$E^{\theta |x}(\theta -{\mu }^{\pi }(x))=0$\
   等号成立的充要条件是$\delta (x)={\mu }^{\pi }(x)$，即$\theta$的后验期望估计使PMSE达到最小，故后验期望估计是在PMSE准则下的最优估计。此为经常选取后验期望估计${\mu }^{\pi }(x)=E(\theta |x)$作为$\theta$的贝叶斯估计的理由。

4. 多参数情形
   若$\mathbf{\theta }=({\theta }_1,\dots ,{\theta }_p{)}^T$是向量$\mathbf{\theta }$的后验分布为$\pi (\mathbf{\theta }|x)$，估计$\mathbf{\theta }$的方法如下：
   （1）后验众数估计：从后验分布出发用广义最大似然估计获得使后验密度达到极大时$\mathbf{\theta }$的值作为后验众数估计;
   （2）后验期望估计：${\mathbf{\mu }}^{\pi }(x)=E^{\mathbf{\theta }|x}(\mathbf{\theta })=({\mu }_1^{\pi }(x),\dots ,{\mu }_p^{\pi }(x))$。估计量的精度用后验协方差阵(记为$Co{v}^{\pi }(x)$)来衡量：
   $$Co{v}^{\pi }(x)=E^{\mathbf{\theta }|x}[(\mathbf{\theta }-{\mathbf{\mu }}^{\pi }(x))(\mathbf{\theta }-{\mathbf{\mu }}^{\pi }(x){)}^T]$$对$\theta$的任一估计$\mathbf{\delta }(x)$，其后验协方差矩阵可分解为
   $$\begin{array}{rl}Cov(\mathbf{\delta })& =E^{\mathbf{\theta }|x}[(\mathbf{\theta }-\mathbf{\delta }(x))(\mathbf{\theta }-\mathbf{\delta }(x){)}^T]\\ & =Co{v}^{\pi }(x)+({\mathbf{\mu }}^{\pi }(x)-\mathbf{\delta }(x))({\mathbf{\mu }}^{\pi }(x)-\mathbf{\delta }(x){)}^T\ge Co{v}^{\pi }(x)\end{array}$$可见后验均值估计仍使后验协方差矩阵达到最小。

二、区间估计

1. 可信区间定义
   定义2.1(可信区间) 设参数$\theta$的后验分布为$\pi (\theta |x)$ ，对给定的样本$x$和概率$1-\alpha$ ，若存在两个统计量${\hat{\theta }}_1(x)$和${\hat{\theta }}_2(x)$ ，使得$$P({\hat{\theta }}_1(x)\le \theta \le {\hat{\theta }}_2(x)|x)\ge 1-\alpha$$
   则称$[{\hat{\theta }}_1(x),{\hat{\theta }}_2(x)]$为$\theta$的可信水平为$1-\alpha$的贝叶斯可信区间， 常简称为$\theta$的$1-\alpha$的可信区间，而满足$$P(\theta \ge {\hat{\theta }}_L(x)|x)\ge 1-\alpha$$
   的${\hat{\theta }}_L(x)$ 称为$\theta$的可信水平 $1-\alpha$的贝叶斯可信下限，而满足
   $$P(\theta \le {\hat{\theta }}_U(x)|x)\ge 1-\alpha$$的${\hat{\theta }}_U(x)$ 称为$\theta$ 的可信水平 $1-\alpha$的贝叶斯可信上限.
2. 最大后验密度可信区间
   定义2.2设参数$\theta$的后验分布为$\pi (\theta |x)$ ，对给定的概率$1-\alpha$ $(0<\alpha <1)$,集合$C$满足如下条件：
   $(1)$ $P(\theta \in C|x)=1-\alpha$,
   $(2)$ 对任给的 ${\theta }_1\in C$ 和 ${\theta }_2\notin C$,总有
   $\pi ({\theta }_1|x)>\pi ({\theta }_2|x)$,则称$C$为$\theta$的可信水平$1-\alpha$最大后验密度可信集（$\text{the highest posterior density (HPD) credible set}$），简称为$1-\alpha$ HPD可信集（区间）。

三、 假设检验

1. 一般方法
   贝叶斯假设检验：
   后验分布为$\pi (\theta |x)$，计算两个假设 $H_0$和$H_1$ 后验概率 $${\alpha }_0=P({\Theta }_0|\mathbf{x}),{\alpha }_1=P({\Theta }_1|\mathbf{x})$$ ${\alpha }_0$和${\alpha }_1$是综合抽样信息和先验信息得出的两个假设实际发生的后验概率。在作决定时，通过比较${\alpha }_0$ 和${\alpha }_1$ 的大小，当后验机会比 ${\alpha }_0/{\alpha }_1<1$（或称后验概率比） 就拒绝$H_0$ ，否则接受$H_0$ ；当 α 0 / α 1 ≈ 1 \alpha_0 / \alpha_1 \approx 1 α