贝叶斯分析-学习笔记(超干的干货)

第一章.绪论

一、常见随机变量分布

1.二项分布：

如果随机变量的分布律为
$$p(X=k)=C_n^k{p}^k(1-p{)}^{n-k},(k=0,1,...,n)$$

则称随机变量X服从参数为$(n,p)$的二项分布
记为X~B(n,p),(其中n为自然数，0<p<1为参数）

• 1). n重伯努利实验，关心事件发生次数的分布律
• 2）$EX=np,DX=np(1-p)$
  当n=1时，为“0-1分布”，即$B(1,p)$

2.Poisson分布

如果随机变量X的分布律为
$$PX=k=\frac{{\lambda }^k}{k!}{e}^{-\lambda },(k=0,1,\dots .whereconstant\lambda >0)$$

记为:$X$~$p(\lambda )$

• 1).稀有事件，事件发生次数的分布律
• 2).$EX=\lambda ,DX=\lambda$

3.几何分布

如果随机变量X的分布律为
$$P(X=k)=(1-p{)}^{k-1}p,(k=1,2,\dots .whereconstrantp\in (0,1))$$
则称随机变量X服从参数为p 的几何分布.
记为：$X$~$G(p)$

• 1).独立重复试验，首次成功次数的分布律。
• 2).$EX=\frac{1}{p},DX=\frac{1-p}{p^2}$

4.帕斯卡分布（负二项分布）

如果随机变量X的分布律为
$$P(X=k)=C_{k-1}^{r-1}(1-p{)}^{k-r}{p}^r),(k=r,r+1,r+2,\dots ,whereconstantp\in (0,1))$$
记为：$X$~$NB(r,p)$

• 1).独立重复试验，第r此成功时实验次数的分布律
• 2).$EX=\frac{r}{p},DX=\frac{r(1-p)}{p^2}$
  *负二项分布可以看成是r个独立同分布的几何分布的$Y_i$~$G(p)$叠加，则有

$$EX=E(Y_1+Y_2+\cdots +Y_r)=rE(Y_i)=r\cdot \frac{1}{p}$$

$$DX=D(Y_1+Y_2+\cdots +Y_r)=rD(Y_i)=r\cdot \frac{1-p}{p^2}$$

5.多项分布（二项分布的推广）

如果随机向量$N=(N_1,N_2,\cdots ,N_m)$的分布律为
$$P(N_1=r_1,N_2=r_2,\cdots ,N_m=r_m)=\frac{n!}{r_1!r_2!\cdots r_m!}{p}_1^{r_1}{p}_2^{r_2}\cdots p_m^{r_m}$$
则称随机变量N服从参数为$p=(p_1,\cdots ,p_m)的多项分布$.
${\Sigma }_{i=1}^m{p}_i=1,{\Sigma }_{i=1}^m{r}_i=n$(其中n为自然数，0<$p_i$<1为参数)
记作$N$~$M(n,p)$

-1).每次试验有m个可能结果：$A_1,A_2,\dots ,A_m$

-2).$P(A_k)=p_k$,此实验独立重复进行n此，记$A_k$发生的次数为$N_k$.
$N$~$M(n,p)$可以分解成n个独立的$M(1,p)$之和。

6.均匀分布

若随机变量X 的密度函数为
$$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& \text{if a≤x≤b}\\ 0,& others\end{array}$$
则称随机变量$X$服从区间$[a,b]$上的均匀分布．
记作X~$U[a,b]$
$$F(x)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x\le b\\ 1,& b<x\end{array}$$
几何概型

• 1).$Pc<X<c+l=\frac{l}{b-a}$
• 2)l.$EX=\frac{1}{b-a},DX=\frac{(b-a{)}^2}{12}$

7.指数分布

$X$~$e(\lambda )$
定义:如果随机变量X 的密度函数为
f ( x ) = λ e − λ x I { x &gt; 0 } f(x)=\lambda e^{-\lambda x}I\{x&gt;0\} f(x)=λe−λxI{x>0}
其中$\lambda >0$为常数，则称随机变量X服从参数为$\lambda$的指数分布．

• 1). F ( x ) = 1 − e − λ x I { x &gt; 0 } F(x)=1-e^{-\lambda x}I\{x&gt;0\} F(x)=1−e−λxI{x>0}
• 2).$P(X>x)=1-F(x)=e^{-\lambda x}$
• 3).$EX=\frac{1}{\lambda },DX=\frac{1}{{\lambda }^2}$

8.正态分布

如果连续型随机变量的密度函数为
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
$(where-\infty <\mu <+\infty ,constant\sigma >0$)

9.柯西分布

如果连续型随机变量的密度函数为
$$f(x)=\frac{1}{\beta \pi }\frac{1}{1+(\frac{x-\alpha }{\beta }{)}^2},x\in \mathbb{R}$$
则称随机变量X服从参数为$\alpha ,\beta$的柯西分布
记为：X~C$(\alpha ,\beta )$

• 若$\alpha =0,\beta =1,我们称C(0,1)为标准柯西分布$.
• $f(x)=\frac{1}{\pi }\frac{1}{1+x^2},x\in \mathbb{R}$
• EX不存在
  物理学中受迫共振的微分方程的解。

10.伽马分布

如果随机变量 X 的密度函数为
f ( x ) = ( β x ) α − 1 Γ ( α ) β e − β x I { x &gt; 0 } , w h e r e   α &gt; 0 , β &gt; 0 f(x)=\frac{(\beta x)^{\alpha-1}}{\Gamma(\alpha)}\beta e^{-\beta x}I\{ x&gt;0\},where\ \alpha &gt;0,\beta &gt;0 f(x)=Γ(α)(βx)α−1​βe−βxI{x>0},where α>0,β>0
则称随机变量$X$服从参数为$(\alpha ,\beta )$的$\Gamma$分布.
记为:$X$~$\Gamma (\alpha ,\beta )$

• 当$\alpha =1$时, $X$~$e(\beta )$
• $\Gamma (\alpha )={\int }_0^{\infty }{x}^{\alpha -1}{e}^{-x}dx=(\alpha -1)\Gamma (\alpha -1)$
• $EX={\int }_0^{\infty }\frac{(\beta x{)}^{\alpha }}{\Gamma (\alpha )}{e}^{-\beta x}dx=\frac{\Gamma (\alpha +1)}{\beta \Gamma (\alpha )}=\frac{\alpha }{\beta }$
• $DX=E{X}^2-(EX{)}^2=\frac{{\alpha }^2+\alpha }{{\beta }^2}-(\frac{\alpha }{\beta }{)}^2=\frac{\alpha }{{\beta }^2}$
• 独立的指数分部之和服从伽马分布。

11.逆伽马分布

如果随机变量 X 的密度函数为
f ( x ) = β α Γ ( α ) x − ( α + 1 ) e − β x I { x &gt; 0 } , w h e r e   α &gt; 0 , β &gt; 0 f(x)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{-(\alpha+1)}e^{-\frac{\beta}{x}}I\{x&gt;0\},where\ \alpha&gt;0,\beta&gt;0 f(x)=Γ(α)βα​x−(α+1)e−xβ​I{x>0},where α>0,β>0
则称随机变量$X$服从参数为$(\alpha ,\beta )$的逆伽马分布.
记为:$X$~${\Gamma }^{-1}(\alpha ,\beta )$

• 当$X$~$\Gamma (\alpha ,\beta )$时, $Y=\frac{1}{X}$~${\Gamma }^{-1}(\alpha ,\beta )$
• $EX={\int }_0^{\infty }x\frac{\beta \alpha }{\Gamma (\alpha )}{x}^{-(\alpha +1)}{e}^{\frac{\beta }{\alpha }}dx=\frac{\beta }{\alpha -1}$
• $DX=\frac{{\beta }^2}{(\alpha -1{)}^2(\alpha -2)}$

通常用来描述误差分布。

12.贝塔分布

如果随机变量 X 的密度函数为
f ( x ) = Γ ( a + b ) Γ ( a ) Γ ( b ) x a − 1 ( 1 − x ) b − 1 I { 0 &lt; x &lt; 1 } , w h e r e   a &gt; 0 , b &gt; 0 f(x)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}I\{0\lt x \lt1\},where\ a&gt;0,b&gt;0 f(x)=Γ(a)Γ(b)Γ(a+b)​xa−1(1−x)b−1I{0<x<1},where a>0,b>0

则称随机变量 X 服从参数为 ( a , b ) 的$\beta$分布.
记为$X$~$Be(a,b)$

• 当a=1,b=1时, $X$~$U(0,1)$
  
• ${\int }_{-\infty }^{\infty }f(x)dx=1$, ${\int }_0^1{x}^{a-1}(1-x{)}^{b-1}dx=\frac{\Gamma (a)\Gamma (b)}{\Gamma (a+b)}=\beta (a,b)$
• $EX={\int }_0^{\infty }\frac{\Gamma (a+b)}{\Gamma (a)+\Gamma (b)}{x}^a(1-x{)}^{b-1}dx=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\frac{\Gamma (a+1)\Gamma (b)}{\Gamma (a+b+1)}=\frac{a}{a+b}$
• $DX=\frac{ab}{(a+b{)}^2(a+b+1)}$
• beta分布可以看作一个概率的概率分布.
• 若$X$ ~ $\Gamma (\alpha ,\theta )$,$Y$ ~ $\Gamma (\beta ,\theta )$独立,则$\frac{X}{X+Y}$ ~ $Be(\alpha ,\beta )$

13.狄里克莱分布(贝塔分布的多维形式)

$$P(x_1,x_2,\dots ,x_k)=\frac{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k)}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\dots \Gamma ({\alpha }_k)}{x}_1^{{\alpha }_1-1}{x}_2^{{\alpha }_2-1}\cdots x_k^{{\alpha }_k-1},\sum _{i=1}^k{x}_i=1$$
则称随机变量 $X$ 服从参数为 $\alpha =({\alpha }_1,\cdots ,{\alpha }_k)({\alpha }_i>0)$ 的狄里克莱分布 .
记为$X$ ~ $D(k,\alpha )$

• 当k=2时,狄里克莱分布为贝塔分布
• 可以描述一个多维概率的概率分布.
• $\int \cdots \int x_1^{{\alpha }_1-1}{x}_2^{{\alpha }_2-1}\cdots x_k^{{\alpha }_k-1}d{x}_1\cdots d{x}_k=\frac{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\dots \Gamma ({\alpha }_k)}{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k)}$
• $E{X}_i=\frac{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k)}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\dots \Gamma ({\alpha }_k)}\frac{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\cdots \Gamma ({\alpha }_i+1)\cdots \Gamma ({\alpha }_k)}{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k+1)}=\frac{{\alpha }_i}{{\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k}$
• $D{X}_i=\frac{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\cdots \Gamma ({\alpha }_i+2)\cdots \Gamma ({\alpha }_k)}{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k+2)}-(\frac{{\alpha }_i}{{\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k}{)}^2=\frac{{\alpha }_i({\alpha }_i+1)}{({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k+1)({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k)}-(\frac{{\alpha }_i}{{\alpha }_1+{\alpha }_2+\cdots +{\alpha }_k}{)}^2$

14.帕累托分布

如果随机变量 X 的密度函数为
f ( x ) = α C α x α + 1 I { x &gt; C } , w h e r e   C &gt; 0 , α &gt; 0 f(x)=\frac{\alpha C^\alpha}{x^{\alpha+1}}I\{x&gt;C\},where\ C&gt;0,\alpha&gt;0 f(x)=xα+1αCα​I{x>C},where C>0,α>0

则称随机变量 X 服从参数为 $(C,\alpha )$ 的 帕雷托 分布.
记为$X$ ~ $Pa(C,\alpha )$

• 经济问题 :贫与富的存在
• 通过市场交易,20%的人将占有80%的社会财富,如果交易可以不断进行下去,那么,在因和果、努力和收获之间,普遍存在着不平衡关系.
  

二. 联合分布,边缘分布,条件分布

1.已知边缘分布和条件分布

设随机向量 X 的概率分布为$P_X(x)$,Y 在 X 下的条件分布
为$P_{Y|X}(y|x)$,则
联合分布:
$$f(x,y)=f_x(x)f_{Y|X}(y|X),(X连续型,Y连续型)$$

$$P(x_i,y_i)=P_X(x_i)P_{Y|X}(y_i|x_i),(X离散型,Y离散型)$$

$$P(x_i,y_i)=P_X(x_i)f_{Y|X}(y|x_i),(Y连续型,X离散型)$$

$$P(x_i,y_i)=f_X(x)P_{Y|X}(y_i|x),(X连续型,Y离散型)$$

2.已知联合分布

设随机向量 ( X , Y ) 的联合分布为 P ( x , y ), 则

• 边缘分布:
  $$P_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy,(Y连续型)$$

$$P_X(x)=\sum _{i}p(x,y_i),(Y离散型)$$

• 条件分布:
  $$P_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)},(Y连续型)$$

$$P_{Y|X}(y_i|x)=\frac{p(x,y_i)}{p_X(x)},(Y离散型)$$

三.基本概念

1.指数族:

p ( x , θ ) = C ( θ ) e x p { ∑ i = 1 k θ i T i ( x ) } h ( x ) p(x,\theta)=C(\theta)exp\{\sum^k_{i=1}\theta_iT_i(x)\}h(x) p(x,θ)=C(θ)exp{i=1∑k​θi​Ti​(x)}h(x)
标准形式:
见<<高等数理统计shaojun>>

2.充分统计量:

有分布族 { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ},
若在已知统计量 T 的条件下 , 样本 X 的条件分布与 $\theta$ 无关,则称 T 为参数 $\theta$ 的充分统计量.

3.因子分解定理:

有分布族 { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ}, 以及统计量:T=T(x)
若 $p(x,\theta )$ 能够分解成
$p(x,\theta )=g(T(x),\theta )h(x)$
则 T 为参数 $\theta$ 的充分统计量。

4.完备统计量:

有分布族 { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ}, 以及统计量:T=T(x),
若对$\forall \phi (T(x))$满足, $E_{\theta }(\phi ((T(x))=0$,都有
$$P_{\theta }(\phi (T(X))=0)=1$$

5.完全统计量判定:

若样本 $X=(X_1,X_2,\cdots ,X_n)$ 的分布族: { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ},
P ( x , θ ) = C ( θ ) e x p { ∑ i = 1 k θ i T i ( x ) } h ( x ) P(x,\theta)=C(\theta)exp\{ \sum^k_{i=1}\theta_iT_i(x) \}h(x) P(x,θ)=C(θ)exp{i=1∑k​θi​Ti​(x)}h(x)
统计量: $T=(T_1(x),T_2(x),\cdots ,T_k(x))$, 且参数空间 $\Theta$有内点,则T为参数$\theta$的完全统计量
看<<高等数理统计 shaojun>><<参数统计教程韦博成>>

6.UMVUE:

样本$X=(X_1,X_2,\cdots ,X_n)$,
分布族: { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ},
可估函数:$g(\theta )$,
设${\hat{g}}^{\ast }(X)$是$g(\theta )$的一个无偏估计量,若对$g(\theta )$的任意无偏估计$\hat{g}(X)$都有:
$$D{\hat{g}}^{\ast }(X)\le D\hat{g}(X)$$
则称${\hat{g}}^{\ast }(X)是g(\theta )的UMVUE$

7.L-S定理:

样本$X=(X_1,X_2,\cdots ,X_n)$,
分布族: { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ},
可估函数:$g(\theta )$,
统计量 T (X ) 是一个充分完备统计量.
$\hat{g}(T(X))$是 g ( \theta ) 的 一个无偏估计量,
则 $\hat{g}(T(X))$ 是$g(\theta )$唯一的UMVUE

8.C-R不等式:

样本$X=(X_1,X_2,\cdots ,X_n)$,
分布族: { p ( x , θ ) , θ ∈ Θ } \{p(x,\theta),\theta\in \Theta \} {p(x,θ),θ∈Θ},
可估函数:$g(\theta )$,
$\hat{g}(T(X))$是 $g(\theta )$ 的 一个无偏估计量,
假设 p(x,$\theta$)满足正则性条件:

• 1). { x ∣ p ( x , θ ) &gt; 0 } 与 θ 无 关 \{ x|p(x,\theta)&gt;0 \}与\theta无关 {x∣p(x,θ)>0}与θ无关
• 2). $p(x,\theta )关于\theta 可导$
• 3). $有关p(x,\theta )关于\theta 求导和积分可换序$
  则有$Va{r}_{\theta }(\hat{g}(X))\ge \frac{(g‘(\theta ){)}^2}{nI(\theta )}\left(=\frac{(g‘(\theta )I^{-1}(\theta )(g‘(\theta {)}^T}{n}\right)$
  称$I(\theta )=E(\frac{\partial lnp(x,\theta )}{\partial \theta }{)}^2$为参数$\theta$的信息量
  如果 $DT=\frac{(g‘(\theta ){)}^2}{nI(\theta )},(当q(\theta )=\theta 时,DT=\frac{1}{nI(\theta )})则称T(X_1,X_2,\cdots ,X_n)为g(\theta )的有效估计量$]

9.N-P引理

10.N-P引理推广

第二章.先验分布的选取

一.古典学派和贝叶斯学派

• 古典统计学派: 坚持概率的频率解释, 把未知参数看成一个固定的未知量!
  统计推断的信息量: 总体信息和样本信息
  缺点: 需要大量重复试验

• 贝叶斯学派: 坚持先给定先验概率, 把未知参数用一个概率分布描述!
  统计推断的信息量: 总体信息,样本信息及先验信息
  缺点: 先验信息主观性比较强

二.贝叶斯统计的基本概念

设总体 X 的概率函数为 $p(x|\theta )$( 分布律或密度函数 ) ,
样本: $X_1,X_2,...,X_n,\theta$ 是未知参数。

1).参数的先验分布: $\pi (\theta )$

• $\theta$ 是离散型随机变量时:
  $$\pi ({\theta }_i)=P(\theta ={\theta }_i)$$
• $\theta$ 是连续型随机变量时:
  $$\pi (\theta )表示参数\theta 概率密度函数$$

2).参数的后验分布:$\pi (\theta |x_1,x_2,\cdots ,x_n)$

在给定$X_1=x_1,\cdots ,X_n=x_n$条件下,
$\theta 的条件分布\pi (\theta |x_1,x_2,\cdots ,x_n)$

三.后验分布的计算

• 样本的条件分布为:

$$p(x_1,x_2,\cdots ,x_n|\theta )=\prod _{i=1}^{n}p(x_i|\theta )$$

• 样本与参数的联合分布为:

$$h(x_1,x_2,\cdots ,x_n,\theta )=\pi (\theta )p(x_1,x_2,\cdots ,x_n|\theta )$$

• 样本边缘分布为:

$$m(x_1,x_2,\cdots ,x_n)={\int }_{\Theta }h(x_1,x_2,\cdots ,x_n,\theta )d\theta$$
则有后验分布:
1).连续型
$$\begin{gathered} \pi (\theta |x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n|\theta )}{m(x_1,x_2,\cdots ,x_n)} \\ =\frac{\pi (\theta )p(x_1,x_2,\cdots ,x_n|\theta )}{{\int }_{\Theta }\pi (\theta )p(x_1,x_2,\cdots ,x_n|\theta )d\theta } \end{gathered}$$

2).离散型
$$\pi (\theta |x_1,x_2,\cdots ,x_n)=\frac{\pi ({\theta }_k)p(x_1,x_2,\cdots ,x_n|{\theta }_k)}{{\sum }_i\pi ({\theta }_i)p(x_1,x_2,\cdots ,x_n|{\theta }_i)}$$

四.先验分布函数形式的确定

1.专家意见
2.历史资料
3.相对似然法
4.直方图法
5.定分度法和变分度法
6.样本边缘分布最大似然先验

• 例题1
  $X$~$e(\theta )$ 样本$X_1,X_2,\cdots ,X_n,\theta$~ $e(\lambda )$
  解:
  $$\pi (\theta )=\lambda e^{-\lambda \theta }$$

$$p(x_1,\cdots ,x_n|\theta )={\theta }^{-n}{e}^{-\theta {\sum }_{i=1}^n{x}_i}$$

$$p(x_1,\cdots ,x_n,\theta |\lambda )=\lambda {\theta }^n{e}^{-\theta (\lambda +{\sum }_{i=1}^n{x}_i)}$$

$$\begin{gathered} p(x_1,\cdots ,x_n|\lambda )=\int p(x_1,\cdots ,x_n)p(\theta )d\theta =\int \lambda {\theta }^{n}exp(-\theta (\lambda +\sum _{i=1}^n{x}_i))d\theta \\ =\lambda \frac{n!}{(\lambda +{\sum }_{i=1}^n{x}_i{)}^{n+1}} \end{gathered}$$

$$lnp(x_1,\cdots ,x_n|\lambda )=ln\lambda +lnn!-(n+1)ln(\lambda +\sum _{i=1}^n{x}_i)$$

$$令\frac{dlnp(x_1,\cdots ,x_n|\lambda )}{d\lambda }=\frac{1}{\lambda }-(n+1\frac{1}{\lambda +{\sum }_{i=1}^n{x}_i})=0$$
求出极大似然估计 $\hat{\lambda }=\bar{X}$

五.超参数的确定

若先验分布的形式确定,但分布中含有未知参数(超参数)

1.先验分布具有明确的意义或信息

例子1 $\theta$~$N(\mu ,{\sigma }^2)$

2.利用边缘分布确定超参数(矩估计和MLE)

已知总体X~P(x|$\theta$) , $\theta$ ~ $\pi (\theta |\lambda )$ $\lambda$是超参数

六.无信息先验分布

1.贝叶斯假设

• 离散均匀分布:$\theta 可能取值有限,{\theta }_1,\cdots ,{\theta }_n,P(\theta ={\theta }_i)=\frac{1}{n}$
• 有限区间上的均匀分布:$\theta$~$U[a,b]$
• 广义先验分布:$\theta \in (-\infty ,\infty ),\theta 的先验分布满足:$
• 1.$\pi (\theta )\ge 0,{\int }_{-\infty }^{\infty }\pi (\theta )d\theta =\infty$
• 2.$\pi (\theta |x)是正常的密度函数$
  . 若$\pi (\theta )是广义先验,则c\pi (\theta )也是广义先验$
  $$\pi (\theta |x)=\frac{h(x,\theta )}{m(x)}=\frac{p(x|\theta )\pi (\theta )}{\int p(x|\theta )\pi (\theta )d\theta }$$
  $$\int \pi (\theta |x)d\theta =1$$

2. 位置参数的无信息先验

<<贝叶斯分析>>$P_{49}$
位置参数族：平移变换下的不变性
$\pi (\theta )=1$

例1
例2

3.尺度参数的无信息先验

尺度参数族举例:

• $p(x|\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{x^2}{2{\sigma }^2}}$
• $p(x|\beta )=\frac{1}{\pi \beta }\frac{1}{1+(\frac{x}{\beta }{)}^2}$
• $p(x|\lambda )=\frac{1}{\lambda }{e}^{\frac{x}{\lambda }},x>0$

尺度参数族:尺度变换下的不变性<<贝叶斯分析>>$P_{51}$

{ f ( x , θ ) → 1 θ f ( x θ ) , θ ∈ R + } \{f(x,\theta) \to \frac{1}{\theta}f(\frac{x}{\theta}), \theta \in \Bbb R^+ \} {f(x,θ)→θ1​f(θx​),θ∈R+}

证 $\pi (\sigma )=\frac{1}{\sigma }$:

令 $Y=cX,(c\in {\mathbb{R}}^{+})$
$$f_Y(y)=\frac{1}{c\theta }f(\frac{y}{c\theta })$$
令 $\eta =c\theta$
$$f_Y(y)=\frac{1}{\eta }f(\frac{y}{\eta })$$

$\sigma 的无信息先验与\eta 的无信息先验应当相同.有:$
$$\pi (\tau )={\pi }^{\ast }(\tau )\text{\hspace{1em}(3.1)}$$
其中${\pi }^{\ast }(\tau )为\eta$的先验分布,另一方面,由变换$\eta =c\sigma ,可知\eta$的无信息先验为:
$${\pi }^{\ast }(\eta )=\pi (\sigma ){|}_{\sigma =\frac{\eta }{c}}\cdot |\frac{d\sigma }{d\eta }|=\frac{1}{c}\pi (\frac{\eta }{c})\text{\hspace{1em}(3.2)}$$
比较(3.1)和(3.2)得:
$$\pi (\eta )={\pi }^{\ast }(\eta )=\frac{1}{c}\pi (\frac{\eta }{c})$$
取$\eta =c,有:$
$$\pi (c)=\frac{1}{c}\pi (1)$$
为方便计算, 令$\pi (1)=1$,由c的任意性,可得$\sigma$的无信息先验为:
$$\pi (\sigma )=\frac{1}{\sigma },(\sigma >0)$$

4.一般情况:Jeffreys无信息先验

$$\pi (\theta )=|I(\theta ){|}^{1/2}$$"| |"表示行列式

七.共轭先验分布

1.共轭先验分布

$设\mathcal{F}表示\theta 的先验分布\pi (\theta )构成的分布族,如果取的\pi \in \mathcal{F},后验分布\pi (\theta |x)\in \mathcal{F},那么称\mathcal{F}是一个共轭先验分布.$(先验分布和后验分布同一个分布族)

• 二项分布,其参数的共轭分布族是贝塔分布.

• 方差已知的正态分布,均值的共轭分布族是正态分布族.
  
• 泊松分布, 参数的共轭分布族是伽马分布.
  

2.求共轭先验分布

• 指数分布,参数的共轭分布族是伽马分布.
  

• -均值已知的正态分布, 方差的共轭分布族是逆伽马分布.
  

八.多层先验分布

当先验分布中的超参数无法确定时,可以对超参数再给出一个先验
分布,这个给出的第二个先验就是超先验。
设参数 $\theta$ 的先验分布是 ${\pi }_1(\theta |\lambda )$ ,其中 $\lambda$ 是超参数给出超参数$\lambda$的超先验分布${\pi }_2(\lambda )$则有 $\theta$ 和 $\lambda$ 的联合分布式是:
$${\pi }_1(\theta |\lambda ){\pi }_2(\lambda )$$
参数 $\theta$ 的先验分布是:
$$\pi (\theta )=\int {\pi }_1(\theta |\lambda ){\pi }_2(\lambda )d\lambda$$
以此类推,可以得到三层以致多层先验.

后验分布与充分性

• 定义:设总体 X 的分布函数为 $F(x,\theta )$ , 样本: $X_1,X_2,...,X_n$,统计量 $T(X_1,X_2,...,X_n)$. 若给定 T 后,  $X_1,X_2,...,X_n$ 的条件分布与参数 $\theta$ 无关, 则称统计量 $T(X_1,X_2,...,X_n)$ 为 $\theta$ 的充分统计量.

• 因子分解定理:
  $T=T(x_1,x_2,\cdots ,x_n)$是一个充分统计量的充要条件是对任一的$\theta$,存在两个函数$g(t,\theta )$和$h(x_1,x_2,\cdots ,x_n)$,有:
  $$p(x_1,x_2,\cdots ,x_n,\theta )=g\left(T(x_1,x_2,\cdots ,x_n),\theta \right)h(x_1,x_2,\cdots ,x_n)$$

• 后验分布引理
  设 $\Gamma$ 是未知参数 $\theta$ 的先验分布类 $\pi (\theta )\in \Gamma$ , 若 $\Gamma$ 是 $\theta$ 的充分统计量,则对 $\forall \pi \in \Gamma$ ,有:
  $$\pi (\theta |x)=\tilde{\pi }(\theta |t)$$
  证明:
  设 T 的概率函数为: $q(t|\theta )$,
  由充分统计量的定义: $p_{X|T}(x|t)=\frac{p(x|\theta )}{q(t|\theta )}=C(x)$
  $$p(x|\theta )=q(t|\theta )C(x)$$
  由因子分解定理有:$p(x|\theta )=g(t,\theta )h(x),q(t|\theta )\propto g(t|\theta )$
  则

$$\begin{array}{rl}\pi (\theta |x)& =\frac{h(x,\theta )}{m(x)}\\ & =\frac{\pi (\theta )p(x|\theta )}{\int \pi (\theta )p(x|\theta )d\theta }\\ & =\frac{\pi (\theta )q(t|\theta )C(x)}{\int \pi (\theta )q(t|\theta )C(x)d\theta }\\ & =\frac{\pi (\theta )q(t|\theta )}{\int \pi (\theta )q(t|\theta )d\theta }\\ & =\tilde{\pi }(\theta |t)\end{array}$$

回顾充分统计量

因子分解定理

后验分布引理

设 $\Gamma$ 是未知参数 $\theta$ 的先验分布类 $\pi (\theta )\in \Gamma$ , 若 T 是 $\theta$的充分统计量,则对 $\forall \pi \in \Gamma$ , 有:
$$\pi (\theta |x)=\tilde{\pi }(\theta |t)$$
证明:
设T的概率函数为$q(t|\theta )$,
由充分统计量 $p_{X|T}(x|t)=\frac{p(x|\theta )}{q(t|\theta )}=C(x)$
由因子分解定理 $p(x|\theta )=g(t|\theta )h(x),q(t|\theta )\propto g(t|\theta )$
$$p(x|\theta )=q(t|\theta )C(x)$$
$$\begin{array}{rl}\pi (\theta |x)=\frac{h(x,\theta )}{m(x)}& =\frac{\pi (\theta )p(x|\theta )}{\int \pi (\theta )p(x|\theta )d\theta }\\ & =\frac{\pi (\theta )q(t|\theta )C(x)}{\int \pi (\theta )q(t|\theta )C(x)d\theta }\\ & =\frac{\pi (\theta )q(t|\theta )}{\int \pi (\theta )q(t|\theta )d\theta }\\ & =\tilde{\pi }(\theta |t)\end{array}$$

Reference先验

KL散度定义:

设两个概率分布P(x),q(x),KL距离(散度)为,
$$KL(p(x),q(x))=\int ln(\frac{p(x)}{q(x)})p(x)dx=E_p(ln(\frac{p(x)}{q(x)}))$$
即连续型随机变量相对熵.

显然:

• 1).$KL(p(x),q(x))!=KL(q(x),p(x))$
• 2).$KL(p(x),q(x))\ge 0$

$E_p(-ln\frac{p(x)}{q(x)})=E_p(ln\frac{q(x)}{p(x)})\le ln{E}_p(\frac{q(x)}{p(x)})$
$ln{E}_p(\frac{q(x)}{p(x)})=ln\int (\frac{q(x)}{p(x)})p(x)dx=0$

Reference先验

设$$\begin{array}{rl}{I}_{\pi (\theta )}(\theta ,x)& ={\int }_{X}p(x)[{\int }_{\Theta }\pi (\theta |x)ln\frac{\pi (\theta |x)}{\pi (\theta )}d\theta ]dx\\ & =E_X(KL(\pi (\theta ,x),\pi (\theta )))\end{array}$$
其中p(x)为样本X的边缘分布.若${\pi }^{\ast }(\theta )$满足:
I π ∗ ( θ ) ( θ , x ) = max ⁡ π ( θ ) { I π ( θ ) ( θ , x ) } I_{\pi^*(\theta)}(\theta,x)=\max_{\pi(\theta)} \{ I_{\pi(\theta)}(\theta,x) \} Iπ∗(θ)​(θ,x)=π(θ)max​{Iπ(θ)​(θ,x)}
则称 π ∗ ( θ ) = a r g max ⁡ π ( θ ) { I π ( θ ) ( θ , x ) } 为 参 数 θ 的 R e f e r e n c e 先 验 \pi^*(\theta)=arg\max_{\pi(\theta)}\{ I_{\pi(\theta)}(\theta,x) \}为参数\theta的Reference先验 π∗(θ)=argmaxπ(θ)​{Iπ(θ)​(θ,x)}为参数θ的Reference先验

积分换序:
$$\begin{array}{rl}{I}_{\pi (\theta )}(\theta ,x)& ={\int }_{\Theta }[{\int }_{X}p(x)\pi (\theta |x)ln\frac{\pi (\theta |x)}{\pi (\theta )}dx]d\theta \\ & ={\int }_{\Theta }\pi (\theta )[{\int }_{X}p(x|\theta )(ln\pi (\theta |x)-ln(\pi (\theta )))dx]d\theta \\ & ={\int }_{\Theta }\pi (\theta )[{\int }_{X}p(x|\theta )(ln\pi (\theta |x)dx-{\int }_{X}p(x|\theta )ln(\pi (\theta ))dx]d\theta \end{array}$$
$$I_{\pi (\theta )}(\theta ,x)={\int }_{\Theta }\pi (\theta )[\underbrace{{\int }_{X}p(x|\theta )(ln\pi (\theta |x)dx}-{\int }_{X}p(x|\theta )ln(\pi (\theta ))dx]d\theta$$
令$ln{f}_n(\theta )={\int }_{X}p(x|\theta )ln\pi (\theta |x)dx$
则$I_{\pi (\theta )}(\theta ,x)={\int }_{\Theta }\pi (\theta )ln\frac{f_n(\theta )}{\pi (\theta )}d\theta$
$${\pi }^{\ast }(\theta )=\underset{n\to \infty }{\lim }\frac{f_n(\theta )}{f_n({\theta }_0)}$$
其中${\theta }_0$是参数空间$\Theta$的一个内点.
参考<<贝叶斯分析P65>>

Reference先验计算

二维参数为例子:分布族 $p(x|\theta ,\lambda )$ ,样本为$X_1,X_2,\cdots ,X_n$
参数信息阵:
$$I(\theta ,\lambda )=\left[\begin{array}{c}{I}_{11}(\theta ,\lambda )I_{12}(\theta ,\lambda )\\ I_{21}(\theta ,\lambda )I_{22}(\theta ,\lambda )\end{array}\right]$$

• 1).固定$\theta$,获得先验分布:$\pi (\lambda |\theta )=I_{22}^{1/2}(\theta ,\lambda )$
• 2).如果$\pi (\lambda |\theta )是正常先验分布,直接消参数$:
  $$p(x|\theta ){\int }_{X}p(x|\theta ,\lambda )\pi (\lambda |\theta )d\lambda$$
• 3).根据$p(x|\theta ),确定\theta 的先验分布\pi (\theta )$
• 4).获得联合先验分布:
  $$\pi (\theta ,\lambda )=\pi (\theta )\pi (\lambda |\theta )$$
  如果$\pi (\lambda |\theta )是非正常先验分布集$:
• (1.划分出$\lambda 的逼近闭参数空间$
  $${\Theta }_1\subset {\Theta }_2\subset \cdots \subset {\Theta }_k\cdots ,{\cup }_k{\Theta }_k=\Theta$$
• (2.在$\Theta 上,确定{\pi }_k(\lambda |\theta )是正常先验分布,{\pi }_k(\lambda |\theta )=A_k(\theta )\pi (\lambda |\theta ),A_k(\theta )=\frac{1}{{\int }_{{\Theta }_k}\pi (\lambda |\theta )d\lambda }$按照前面步骤二,确定${\pi }_k(\theta )$
  π k ( θ ) = e x p { 1 2 ∫ Θ k π k ( λ ∣ θ ) l n ∣ I ( λ , θ ) ∣ ∣ I 22 ( λ , θ ) ∣ d λ } \pi_k(\theta)=exp\{ \frac{1}{2} \int_{\Theta_k} \pi_k(\lambda|\theta) ln\frac{|I(\lambda,\theta)|}{|I_{22}(\lambda,\theta)|} d\lambda\} πk​(θ)=exp{21​∫Θk​​πk​(λ∣θ)ln∣I22​(λ,θ)∣∣I(λ,θ)∣​dλ}
• (3. $\pi (\theta ,\lambda )=li{m}_{k\to \infty }\frac{A_k(\theta ){\pi }_k(\theta )}{A_k({\theta }_0){\pi }_k({\theta }_0)}\pi (\theta |\lambda )$
  如果参数维数多于二维 ,类似二维多次循环进行
  $$\pi ({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\pi ({\theta }_1)\pi ({\theta }_2|{\theta }_1)\pi ({\theta }_k|{\theta }_1,{\theta }_2,\cdots ,{\theta }_{k-1})$$

最大熵先验

定义1: 设$\theta$为离散型随机变量 , 分布律为:$p(\theta ={\theta }_i)=p_i,i=1,2,\cdots$
则称 $E(p)=-{\sum }_i{p}_{i}ln{p}_i$
为随机变量的熵函数.
$H(x,y)=H(x)+H(y)$
$P(x,y)=P(x)P(y)$
$H(x)=-lnp(x)$

• 1).$p\to 0或p\to 1是,有-plnp\to 0$
• 2).${\sum }_{i=1}^n{p}_i=1时,当p_1=p_2=\cdots =p_n有-{\sum }_{i=1}^n{p}_{i}ln{p}_i最大.$

连续性:
$$E(\pi )=-\int \pi (\theta )ln\frac{\pi (\theta )}{{\pi }_0(\theta )}d\theta$$
${\pi }_0(\theta )是不变的无信息先验$

定理1(离散型):

$设\theta 为离散型随机变量,{\theta }_i,i=1,2,\cdots ,满足条件:$
$$E^{\pi }(g_k(\theta ))=\sum _i{g}_k({\theta }_i)\pi ({\theta }_i)={\mu }_k,k=1,2,\cdots ,m$$
$其中g_k(\cdot ),{\mu }_k(k=1,\cdots ,m)分别表示已知的函数和已知的常数.同时还有隐藏条件{\sum }_i\pi ({\theta }_i)=1.$
则满足条件的最大熵先验为:
π ˉ ( θ i ) = e x p { ∑ k = 1 m λ k g k ( θ i ) } ∑ i e x p { ∑ k = 1 m λ k g k ( θ i ) } \bar \pi(\theta_i)=\frac{exp\{ \sum^m_{k=1} \lambda_kg_k(\theta_i) \}}{\sum_iexp\{ \sum^m_{k=1} \lambda_k g_k(\theta_i) \}} πˉ(θi​)=∑i​exp{∑k=1m​λk​gk​(θi​)}exp{∑k=1m​λk​gk​(θi​)}​
$其中{\lambda }_k是保证\bar{\pi }(\theta )满足约束条件的常数.$

定理2(连续型):

$设\theta 为连续型随机变量,{\theta }_i,i=1,2,\cdots ,满足条件:$
$$E^{\pi }(g_k(\theta ))={\int }_i{g}_k(\theta )\pi (\theta )d\theta ={\mu }_k,k=1,2,\cdots ,m$$
$其中g_k(\cdot ),{\mu }_k(k=1,\cdots ,m)分别表示已知的函数和已知的常数.同时还有隐藏条件{\sum }_i\pi ({\theta }_i)=1.$
则满足条件的最大熵先验为:
π ˉ ( θ i ) = π 0 ( θ ) e x p { ∑ k = 1 m λ k g k ( θ ) } ∫ Θ π 0 ( θ ) e x p { ∑ k = 1 m λ k g k ( θ ) } d θ \bar \pi(\theta_i)=\frac{\pi_0(\theta) exp\{ \sum^m_{k=1} \lambda_kg_k(\theta) \}}{\int_{\Theta} \pi_0(\theta)exp\{ \sum^m_{k=1} \lambda_k g_k(\theta) \}d\theta} πˉ(θi​)=∫Θ​π0​(θ)exp{∑k=1m​λk​gk​(θ)}dθπ0​(θ)exp{∑k=1m​λk​gk​(θ)}​
$其中{\lambda }_k是保证\bar{\pi }(\theta )满足约束条件的常数.$

第三章：贝叶斯统计推断

点估计

已知总体X参数的后验分布:$\pi (\theta |x_1,\cdots ,x_n)$

1).最大后验估计:

也称后验众数估计,后验极大似然估计:
$$\pi (\theta |x_1,x_2,\cdots ,x_n)$$

最大值点${\hat{\theta }}_{MD}$.

即,将后验分布求其似然函数的最大值(MLE).

2).后验中位数估计:${\hat{\theta }}_{ME}$

$$P(\theta >\hat{\theta }|x_1,x_2,\cdots ,x_n)=P(\theta <\hat{\theta }|x_1,x_2,\cdots ,x_n)$$

3).后验期望估计:

$$\hat{\theta }=E(\theta |x_1,x_2,\cdots ,x_n)={\hat{\theta }}_E$$

点估计的误差估计

• 后验分布:$\pi (\theta |x_1,\cdots ,x_n).贝叶斯估计:\hat{\theta }=\delta (x_1,\cdots ,x_n)$
• 后验均方误差:
  $$PMSE(\delta (x))=E_{\theta |x}(\theta -\delta (x_1,x_2,\cdots ,x_n){)}^2$$
  该值越小越好
  $当\hat{\theta }={\hat{\theta }}_E,即\hat{\theta }=E_{\theta |x}(\theta )$
  $$PMSE({\hat{\theta }}_E)=E_{\theta |x}{(\theta -{\hat{\theta }}_E)}^2=D_{\theta |x}(\theta )=V(x)$$
  后验均值估计使得后验均方误差达到最小.

区间估计

$已知\theta 的后验分布\pi (\theta |x),对于给定的样本x和x和概率1-\alpha ,若存在两个统计量{\hat{\theta }}_1(x),{\hat{\theta }}_2(x),有$
$$P({\hat{\theta }}_1(x))\le \theta \le {\hat{\theta }}_2(x)|x)\ge 1-\alpha$$

则称置信水平为1-\alpah的可信区间: $[{\hat{\theta }}_1(x),{\hat{\theta }}_2(x)],$
若$P({\hat{\theta }}_L(x)\le \theta |x)\ge 1-\alpha$:
则称置信下限为:${\hat{\theta }}_L(x)$
若$P(\theta \le {\hat{\theta }}_U(x)|x)\ge 1-\alpha$
则称可信上仙为:${\hat{\theta }}_U(x)$

最大后验密度可信区间(HPD)

1.定义(最大后验密度可信集):

X~$f(x|\theta )$,样本:$X_1,X_2,\cdots ,X_n,\theta 的后验分布\pi (\theta |x),给定概率1-\alpha ,(0<\alpha <1),集合C满足如下条件:$

• $P(\theta \in C)=1-\alpha$
• $对任意的{\theta }_1\in C,{\theta }_2\notin C,总有\pi ({\theta }_1|x)>\pi ({\theta }_2|x)则称C为\theta 的置信水平为1-\alpha 最大后验密度可信集.$

2.大样本方法

X~$f(x|\theta ),样本:X_1,X_2,\cdots ,X_n,\theta 的后验分布{\pi }_n(\theta |x),{\mu }^{\pi }(x)=E(\theta |x),V^{\pi }(x),当n比较大时,近似的有:$

• 1).$\theta -{\mu }^{\pi }(x)$~$N(0,V^{\pi }(x))$
  $\to (\theta -{\mu }^{\pi }(x){)}^T(V^{\pi }(x){)}^{-1}(\theta -{\mu }^{\pi }(x))$~${\chi }^2(p)$
• 2). θ → { θ ∣ ( θ − μ π ( x ) ) T ( V π ( x ) ) − 1 ( θ − μ π ( x ) ) ≤ χ α 2 ( p ) } \theta \to \{ \theta|(\theta-\mu^\pi(x))^T(V^\pi(x))^{-1}(\theta-\mu^\pi(x)) \le \chi^2_\alpha(p) \} θ→{θ∣(θ−μπ(x))T(Vπ(x))−1(θ−μπ(x))≤χα2​(p)}

预测推断

1.问题提出

• 1).X~ $f(x|\theta ),样本:X_1,X_2,\cdots ,X_n,$Z~$g(z|\theta ),$推断未观察值$Z_0$
  Z ~ $g(z|\theta )$~$g(z|\theta ,x)$

• 2).$X$~$f(x|\theta ),样本:X_1,X_2,\cdots ,X_n,推断未观测值X_0$

2.定义

设X~$f(x|\theta ),样本:X_1,X_2,\cdots ,X_n,\theta 的先验分布\pi (\theta ),\theta 的后验分布\pi (\theta |x),Z$ ~ $g(z|\theta ),定义Z_0的后验预测密度为$:
$$P(z_0|x_1,\cdots ,x_n)=\int g(z_0|\theta )\pi (\theta |x_1,\cdots ,x_n)d\theta$$

特例情况
$$P(x_0|x_1,\cdots ,x_n)=\int f(x_0|\theta )\pi (\theta |x_1,\cdots ,x_n)d\theta$$

$Z_0的预报区间[a,b]满足:$
$$P(a\le z_0\le b|x_1,\cdots ,x_n)={\int }_a^{b}p(z_0|x_1,\cdots ,x_n)d{z}_0=1-\alpha$$

$x_0的预测区间[a,b]满足:$
$$P(a\le x_0\le b|x_1,\cdots ,x_n)={\int }_a^{b}p(x_0|x_1,\cdots ,x_n)d{z}_0=1-\alpha$$

假设检验:

$H_0:\theta \in {\Theta }_{0}vs{H}_1:\theta \in {\Theta }_1$
计算后验概率:$P(\theta \in {\Theta }_0|x_1,\cdots ,x_n),P(\theta \in {\Theta }_1|x_1,\cdots ,x_n)$
若$P(\theta \in {\Theta }_0|x_1,\cdots ,x_n)>P(\theta \in {\Theta }_1|x_1,\cdots ,x_n),接受H_0$
$$H_i:\theta \in {\Theta }_i(i=1,2,\cdots ,k)$$

$${\alpha }_i=P(\theta \in {\Theta }_i|x),若{\alpha }_l最大,则接受H_l$$

贝叶斯因子

$设两个假设{\Theta }_0和{\Theta }_1的先验概率分别为{\pi }_0和{\pi }_1,后验概率分别为{\alpha }_0和{\alpha }_1,比率\frac{{\pi }_0}{{\pi }_1}称为H_0对H_1先验机会比,\frac{{\alpha }_0}{{\alpha }_1}称为H_0对H_1后验机会比,且称$
$$B^{\pi }(x)=\frac{\frac{{\alpha }_0}{{\alpha }_1}}{\frac{{\pi }_0}{{\pi }_1}}=\frac{{\alpha }_0{\pi }_1}{{\alpha }_1{\pi }_0}=\frac{{\alpha }_0/{\pi }_0}{{\alpha }_1/{\pi }_1}$$

为支持$H_0$的贝叶斯因子.
$贝叶斯因子B^{\pi }(x)反应数据x支持H_0的程度.B^{\pi }(x)取值越大,对H_0的支持程度越高.$
拒绝域:$\frac{{\alpha }_0}{{\alpha }_1}<1$等价于:
$$B^{\pi }(x)<\frac{{\pi }_1}{{\pi }_0}⟺\frac{1}{B^{\pi }(x)}>\frac{{\pi }_0}{{\pi }_1}$$

简单vs简单检验

$$H_0:{\Theta }_0={\theta }_{0}vs{H}_1:{\Theta }_1={\theta }_1$$

$${\alpha }_0=P(\theta \in {\Theta }_0|x)=\frac{P({\theta }_0,x)}{m(x)}=\frac{{\pi }_{0}P(x|{\theta }_0)}{{\pi }_{0}P(x|{\theta }_0)+{\pi }_{1}P(x|{\theta }_1)}$$

$${\alpha }_1=P(\theta \in {\Theta }_1|x)=\frac{{\pi }_{1}P(x|{\theta }_1)}{{\pi }_{0}P(x|{\theta }_0)+{\pi }_{1}P(x|{\theta }_1)}$$

$$\frac{{\alpha }_0}{{\alpha }_1}=\frac{{\pi }_{0}P(x|{\theta }_0)}{{\pi }_{1}P(x|{\theta }_1)}$$

$$⟹B^{\pi }(x)=\frac{{\alpha }_0/{\alpha }_1}{{\pi }_0/{\pi }_1}=\frac{P(x|{\theta }_0)}{P(x|{\theta }_1)}$$

拒绝域:$\frac{{\alpha }_0}{{\alpha }_1}<1$等价于:
$$\frac{P(x|{\theta }_0)}{P(x|{\theta }_1)}>\frac{{\pi }_1}{{\pi }_0}$$
例题:

复杂-复杂检验

$$H_0:{\Theta }_0(非空复合集)vs{H}_1:{\Theta }_1={\Theta }_0-{\Theta }_1(非空复合集)$$

$${\alpha }_0=P(\theta \in {\Theta }_0|x)=\frac{P({\Theta }_0,x)}{m(x)}=\frac{{\int }_{{\Theta }_0}\pi (\theta )P(x|\theta )d\theta }{{\int }_{{\Theta }_0}\pi (\theta )P(x|\theta )d\theta +{\int }_{{\Theta }_1}\pi (\theta )P(x|\theta )d\theta }$$

$${\alpha }_1=P(\theta \in {\Theta }_0|x)=\frac{P({\Theta }_1,x)}{m(x)}=\frac{{\int }_{{\Theta }_1}\pi (\theta )P(x|\theta )d\theta }{{\int }_{{\Theta }_0}\pi (\theta )P(x|\theta )d\theta +{\int }_{{\Theta }_1}\pi (\theta )P(x|\theta )d\theta }$$

$则\frac{{\alpha }_0}{{\alpha }_1}=\frac{{\int }_{{\Theta }_0}\pi (\theta )P(x|\theta )d\theta }{{\int }_{{\Theta }_1}\pi (\theta )P(x|\theta )d\theta }$
$令{\pi }_0={\int }_{{\Theta }_0}\pi (\theta )d\theta ,{\pi }_1={\int }_{{\Theta }_1}\pi (\theta )d\theta$
$$B^{\pi }(x)=\frac{{\alpha }_0/{\alpha }_1}{{\pi }_0/{\pi }_1}=\frac{{\int }_{{\Theta }_0}\frac{\pi (\theta )}{{\pi }_0}P(x|\theta )d\theta }{{\int }_{{\Theta }_1}\frac{\pi (\theta )}{{\pi }_1}P(x|\theta )d\theta }=\frac{m_0(x)}{m_1(x)}$$

拒绝域:$\frac{{\alpha }_0}{{\alpha }_1}<1$等价于:
$$\frac{m_0(x)}{m_1(x)}>\frac{{\pi }_1}{{\pi }_0}$$

例题:

简单-复杂检验

第四章：贝叶斯统计决策

一.概念

1.样本空间和样本分布族

$随机变量X取值于样本空间\mathbb{R},分布族为p(x|\theta ),\theta \in \Theta$

2.决策空间: 统计决策问题可能采取的行动构成的非空集合.

$定义在样本空间,取值于决策空间中函数\delta (x)称为决策函数$

3.损失函数

$定义在\Theta \times \mathbb{R}的非负可测函数,记L(\theta ,\delta (x))$

4.统计决策三要素

$随机变量X的分布族为p(x|\theta ),决策空间\Theta 和损失函数L(\theta ,\delta (x)).$

5.风险函数

设 $\delta (x)$ 是一个决策函数,平均
损失:
$$R(\theta ,\delta )=E_{X|\theta }[L(\theta ,\delta (x))]=\int L(\theta ,\delta (x))p(x|\theta )dx$$
为$\delta (x)$的风险函数.
$$对每一个\theta 的平均损失,\theta 的函数$$
风险函数就是损失函数关于$p(x|\theta )$的期望
.
.
决策函数就类似于机器学习中的$\hat{y}$
$设\delta (x)是任意一个决策函数,如果存在一个决策函数{\delta }^{\ast }(x),满足:$
$$R(\theta ,{\delta }^{\ast })\le R(\theta ,\delta )$$
则称${\delta }^{\ast }(x)$为一致最优决策函数

6.贝叶斯风险

$设R(\theta ,\delta )为风险函数,\pi (\theta )为\theta 的先验分布,则称:$
$$R_{\pi }(\delta )=E_{\theta }[R(\theta ,\delta )]=\int R(\theta ,\delta )\pi (\theta )d\delta$$
为$\sigma (x)$的贝叶斯风险.
$如果\delta (x)是任意一个决策函数,如果存在一个决策函数{\delta }^{\ast }(x),满足:$
$$R_{\pi }({\delta }^{\ast })\le R_{\pi }(\delta )$$
$则称{\delta }^{\ast }(x)为统计决策的贝叶斯解.$
统计决策的贝叶斯解就是贝叶斯风险的一致最有决策函数

7.后验风险

$设L(\theta ,\delta (x))为损失函数,\pi (\theta |x)为\theta 的后验分布,则称:$
$$R(\delta (x)|x)=E_{\theta |x}[L(\theta ,\delta (x))]=\int L(\theta ,\delta (x))\pi (\theta |x)d\theta$$
为决策函数$\delta (x)$的贝叶斯后验风险.
在某个样本下,损失函数$L$关于后验分布$\pi (\theta |x)$的期望(对$\theta$求积分)
$如果存在一个决策函数{\delta }^{\ast }(x),对任意的决策函数\delta (x),满足:$
$$R({\delta }^{\ast }(x)|x)=minR(\delta (x)|x)$$
则称${\delta }^{\ast }(x)$为后验风险最小原则下最优贝叶斯决策函数.

8.贝叶斯先验风险

设$\pi (\theta )为先验分布,称:$
$$R(\pi ,\delta (x))=E_{\theta }[L(\theta ,\delta (x))]=\int L(\theta ,\delta (x))\pi (\theta )d\theta$$
$为\delta (x)对\theta 的贝叶斯期望风险$

$$\begin{array}{rl}{E}_X(R(\delta (x)|x))& =\int R(\delta (x)|x)m(x)dx\\ & =\int m(x)dx\int L(\theta ,\delta (x))\pi (\theta |x)d\theta \\ & =\int dx\int L(\theta ,\delta (x))p(x,\theta )d\theta \\ & =\int dx\int L(\theta ,\delta (x))\pi (\theta )p(x|\theta )d\theta \\ & =\int \pi (\theta )d\theta \int L(\theta ,\delta (x))p(x|\theta )dx\\ & =\int R(\theta ,\delta )\pi (\theta )d\theta \\ & =E_{\theta }[R(\theta ,\delta )]\\ & =R_{\pi }(\delta )\\ & =\underline{\int \int L(\theta ,\delta (x))p(x,\theta )dxd\theta }\end{array}$$

二.基本原理

1.后验风险最小原则:

1).平方损失下的贝叶斯估计

2).加权平方损失下的贝叶斯估计

3.在绝对值损失下的贝叶斯估计

4.在线性损失下的贝叶斯估计

三.最小最大准则

定理一:

定理二

四.区间估计的决策

五.假设检验的决策

第五章：贝叶斯计算方法

一.E-M算法

例1

例2.

二.后验分布的相和性

后验分布的渐近正态性

第六章：贝叶斯大样本方法

第七章：贝叶斯模型选择

一 正常先验下的贝叶斯因子

二 非正常先验下的贝叶斯因子

三 贝叶斯模型评价

第八章：经验贝叶斯