概率与统计——正态分布的共轭分布

$\text{概率与统计之正态分布的共轭分布}$

a. 前言

我们知道贝塔分布是二项分布的共轭先验分布，伽马分布是泊松分布的共轭先验分布，也就是说二项分布的单次试验的成功概率$p$服从贝塔分布，泊松分布单位时间内的成功速率$\lambda$服从伽马分布。同样对于正态分布也存在共轭先验分布，而由于正态分布中的参数有$\mu 与{\sigma }^2$两种，所以根据两种参数的已知与未知又存在三种共轭先验分布。为了能够加深对于共轭先验分布的认知以及进一步理解利用贝叶斯法则推导的逻辑，在此将网上的相关论文内容进行整理

b. 通用参数符号以及一些基本知识说明

• $\text{样本向量}：X=(x_1,x_2,\cdots ,x_n)，n为样本向量大小$
• $\text{正态总体分布的参数}：期望\mu ，方差\phi ={\sigma }^2$
• $\text{条件总体分布函数}：N(X|\mu )或N(X|\phi )或N(X|\mu ,\phi )$
• $$\begin{gathered} \text{似然函数}：当样本向量以及其他参数给定时，条件总体分布其实是相当于未知参数的分布，条件总体分布函数 \\ 也可以看做是未知参数的函数，称之为似然函数。表达式为\mathrm{P}(\mu |X,\phi )或\mathrm{P}(\phi |X,\mu )或\mathrm{P}(\mu ,\phi |X) \end{gathered}$$
• $\text{参数先验分布密度函数}：\xi (\mu )或\xi (\phi )或\xi (\mu ,\phi )$
• $\text{参数后验分布密度函数}：\omega (\mu |X)或\omega (\phi |X)或\omega (\mu ,\phi |X)$
• $$\begin{gathered} \text{核}：\text{概率密度函数中略去归一化常数因子部分，剩余的与自变量有关的部分就称为核。比如正态分布}N(\mu ,\phi )在 \\ 已知\mu 与\phi 的条件下，核为e^{\frac{-(x-\mu {)}^2}{2\phi }}，\text{通过核的形式就可知道分布的类型，而利用归一化的结论便可重新求出} \\ \text{常数因子。核是推导共轭分布的关键} \end{gathered}$$
• $$\begin{gathered} \text{以期望}\mu \text{的后验分布密度函数为例}，\omega (\mu |X)=\frac{N(X|\mu )\xi (\mu )}{{\int }_{\mu }N(X|\mu )\xi (\mu )d\mu }=\frac{\mathrm{P}(\mu |X,\phi )\xi (\mu )}{{\int }_{\mu }\mathrm{P}(\mu |X,\phi )\xi (\mu )d\mu } \\ 如果N(X|\mu )\xi (\mu )可以表示为一个c_1\cdot c_2\cdot g(\mu )的形式，其中c_1为任意常数，c_2\cdot g(\mu )为一种已知的分布的 \\ 概率密度函数，c_2为归一化常数因子，g(\mu )为核。那么\omega (\mu |X)=c_{2}g(\mu )，也就是说后验分布为核g(\mu )对应的 \\ 分布.因为\omega (\mu |X)=\frac{N(X|\mu )\xi (\mu )}{{\int }_{\mu }N(X|\mu )\xi (\mu )d\mu }=\frac{c_1\cdot c_2\cdot g(\mu )}{c_1{\int }_{\mu }{c}_2\cdot g(\mu )d\mu }=\frac{c_1\cdot c_2\cdot g(\mu )}{c_1\cdot 1}=c_2\cdot g(\mu ) \\ 换句话说在该情形下如果\omega (\mu |X)\propto g(\mu )，那么\omega (\mu |X)=c_2\cdot g(\mu )是必然的。总结一下就是 \\ \omega (\mu |X)\propto N(X|\mu )\xi (\mu )=\mathrm{P}(\mu |X,\phi )\xi (\mu )\propto g(\mu )(1) \end{gathered}$$

一，期望$\mu$未知，方差$\phi$已知的情形

1. 参数符号

• ${\theta }_0,{\varphi }_0$，先验正态分布的期望与方差
• ${\theta }_1,{\varphi }_1$，后验正态分布的期望与方差
• $\stackrel{-}{x}$，本次收集到的数据的样本均值

2. 目标

• 推导出正态总体分布$N(\mu ,\phi )(\phi 已知)$的先验共轭分布
• 根据当前已收集的样本更新后验期望值$\mu$

3. 推导先验共轭分布

1. $\text{似然函数}:$在给定$\phi$以及样本数据条件下的似然函数为
   P ( μ ∣ X , φ ) = N ( X ∣ μ ) = ∏ i = 1 n { 1 2 π φ e − ( x i − μ ) 2 2 φ }    = ( 2 π φ ) − n / 2 ⋅ e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ )    ∝ e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ ) \displaystyle \Rho(\mu|X,\varphi)=N(X|\mu)=\prod_{i=1}^n \{\displaystyle \frac{1}{\sqrt{2\pi\varphi}}e^{\displaystyle-\frac{(x_i-\mu)^2}{2\varphi}}\}\\ \qquad\qquad\qquad\qquad\quad\ \ = (2\pi\varphi)^{-n/2}\cdot exp( -\sum_{i=1}^n(x_i-\mu)^2/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ \propto exp(-\sum_{i=1}^n(x_i-\mu)^2/2\varphi) P(μ∣X,φ)=N(X∣μ)=i=1∏n​{2πφ ​1​e−2φ(xi​−μ)2​}  =(2πφ)−n/2⋅exp(−i=1∑n​(xi​−μ)2/2φ)  ∝exp(−i=1∑n​(xi​−μ)2/2φ)
2. $\mu \text{的先验分布}:设\mu 的先验分布为一个正态分布N({\theta }_0,{\varphi }_0)，则\xi (\mu )=(2\pi {\varphi }_0{)}^{-1/2}\cdot exp(-(\mu -{\theta }_0{)}^2/2{\varphi }_0)$
3. $\mu \text{的后验分布}:在推出似然函数与先验分布后，根据式(1)便可进行后验分布的推导$
   ω ( μ ∣ X ) ∝ P ( μ ∣ X , φ ) ξ ( μ ) ∝ e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ ) ⋅ e x p ( − ( μ − θ 0 ) 2 / 2 ϕ 0 ) ∝ e x p { − 1 2 [ ( 1 ϕ 0 + n φ ) μ 2 − 2 ( θ 0 ϕ 0 + n x − φ ) μ + θ 0 2 ϕ 0 + ∑ i = 1 n x i 2 φ ] } ， ( x − = 1 n ∑ i = 1 n x i 即样本均值 ) θ 0 2 ϕ 0 + ∑ i = 1 n x i 2 φ 是与 μ 无关的常数可以省略 , 于是上式可化为 ∝ e x p { − 1 2 [ ( 1 ϕ 0 + n φ ) μ 2 − 2 ( θ 0 ϕ 0 + n x − φ ) μ ] } 令 ϕ 1 = ( 1 ϕ 0 + n φ ) − 1 和 θ 1 = ϕ 1 ( θ 0 ϕ 0 + n x − φ ) 于是上式可化为 = e x p { − ( μ 2 − 2 θ 1 μ ) / 2 ϕ 1 } = e x p { − ( μ 2 − θ 1 ) 2 / 2 ϕ 1 − θ 1 2 / 2 ϕ 1 } θ 1 2 / 2 ϕ 1 同样是与 μ 无关的常数可以省略 , 于是上式可化为 ∝ e x p { − ( μ 2 − θ 1 ) 2 / 2 ϕ 1 } 此式正是正态分布 N ( θ 1 , ϕ 1 ) 的核，于是可知 μ 的后验分布是正态分布 N ( θ 1 , ϕ 1 ) \begin{aligned} \omega(\mu|X)&\propto \Rho(\mu|X,\varphi)\xi(\mu)\\ &\propto exp(-\sum_{i=1}^n(x_i-\mu)^2/2\varphi) \cdot exp(-(\mu-\theta_0)^2/2\phi_0)\\ &\propto exp\{-\frac{1}{2}[(\frac{1}{\phi_0}+\frac{n}{\varphi})\mu^2-2(\frac{\theta_0}{\phi_0}+\frac{n\overset{-}{x}}{\varphi})\mu+\frac{\theta_0^2}{\phi_0}+\frac{\sum_{i=1}^nx_i^2}{\varphi}]\}，(\overset{-}{x}=\frac{1}{n}\sum_{i=1}^nx_i即样本均值)\\ &\textcolor{red}{\frac{\theta_0^2}{\phi_0}+\frac{\sum_{i=1}^nx_i^2}{\varphi}是与\mu无关的常数可以省略,于是上式可化为}\\ &\propto exp\{-\frac{1}{2}[(\frac{1}{\phi_0}+\frac{n}{\varphi})\mu^2-2(\frac{\theta_0}{\phi_0}+\frac{n\overset{-}{x}}{\varphi})\mu]\}\\ &\textcolor{red}{令\phi_1=(\frac{1}{\phi_0}+\frac{n}{\varphi})^{-1}和\theta_1=\phi_1(\frac{\theta_0}{\phi_0}+\frac{n\overset{-}{x}}{\varphi})于是上式可化为}\\ &= exp\{-(\mu^2-2\theta_1\mu)/2\phi_1\}=exp\{-(\mu^2-\theta_1)^2/2\phi_1-\theta_1^2/2\phi_1\}\\ &\textcolor{red}{\theta_1^2/2\phi_1同样是与\mu无关的常数可以省略,于是上式可化为}\\ &\propto exp\{-(\mu^2-\theta_1)^2/2\phi_1\}\\ &\textcolor{red}{此式正是正态分布N(\theta_1,\phi_1)的核，于是可知\mu的后验分布是正态分布N(\theta_1,\phi_1)} \end{aligned} ω(μ∣X)​∝P(μ∣X,φ)ξ(μ)∝exp(−i=1∑n​(xi​−μ)2/2φ)⋅exp(−(μ−θ0​)2/2ϕ0​)∝exp{−21​[(ϕ0​1​+φn​)μ2−2(ϕ0​θ0​​+φnx−​)μ+ϕ0​θ02​​+φ∑i=1n​xi2​​]}，(x−=n1​i=1∑n​xi​即样本均值)ϕ0​θ02​​+φ∑i=1n​xi2​​是与μ无关的常数可以省略,于是上式可化为∝exp{−21​[(ϕ0​1​+φn​)μ2−2(ϕ0​θ0​​+φnx−​)μ]}令ϕ1​=(ϕ0​1​+φn​)−1和θ1​=ϕ1​(ϕ0​θ0​​+φnx−​)于是上式可化为=exp{−(μ2−2θ1​μ)/2ϕ1​}=exp{−(μ2−θ1​)2/2ϕ1​−θ12​/2ϕ1​}θ12​/2ϕ1​同样是与μ无关的常数可以省略,于是上式可化为∝exp{−(μ2−θ1​)2/2ϕ1​}此式正是正态分布N(θ1​,ϕ1​)的核，于是可知μ的后验分布是正态分布N(θ1​,ϕ1​)​
4. $$\begin{gathered} \text{结论}：由于先验分布N({\theta }_0,{\varphi }_0)推出的后验分布同为正态分布N({\theta }_1,{\varphi }_1)，故先验分布N({\theta }_0,{\varphi }_0)是正态总体分布 \\ N(\mu ,\phi )(\phi 已知)的共轭分布。同时可以用后验分布的期望值来估计\mu ，也就是说E(\mu |X)={\theta }_1 \end{gathered}$$

4. 后验期望值$\mu$的估计

1). 总体步骤

1. $通过以往收集的数据估算出前验正态分布N({\theta }_0,{\varphi }_0)的参数{\theta }_0,和{\varphi }_0$
2. $通过本次所得样本向量X求出样本均值\stackrel{-}{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$
3. $$\begin{gathered} 利用已知的总体分布方差\phi ，样本均值\stackrel{-}{x}，以及样本个数n来更新后验参数{\theta }_1和{\varphi }_1 \\ {\varphi }_1=(\frac{1}{{\varphi }_0}+\frac{n}{\phi }{)}^{-1}，{\theta }_1={\varphi }_1(\frac{{\theta }_0}{{\varphi }_0}+\frac{n\stackrel{-}{x}}{\phi }) \end{gathered}$$
4. $\mu 的后验估计即为{\theta }_1，与此同时也可以根据后验参数求出后验分布的置信区间$

2). 例子

$$\begin{gathered} 已知总体分布为N(\mu ,10)(\phi =10)，样本向量X的大小为20，且\stackrel{-}{x}=22.222，并假定根据以往积累的数据经验得 \\ P(20<\mu <26)=0.95，则对\mu 的推断如下 \end{gathered}$$

1. $$\begin{gathered} 首先是对于前验分布参数的计算，由于\mu \sim N({\theta }_0,{\varphi }_0)，于是标准化后\frac{\mu -{\theta }_0}{\sqrt{{\varphi }_0}}\sim N(0,1)，所以对于标准正态分布 \\ 而言P(-2<\frac{\mu -{\theta }_0}{\sqrt{{\varphi }_0}}<2)=0.95，对比原前验分布的P(20<\mu <26)=0.95于是可得 \\ \{\begin{array}{ll}{\theta }_0-2\sqrt{{\varphi }_0}& =20\\ {\theta }_0+2\sqrt{{\varphi }_0}& =26\end{array}⟹\{\begin{array}{l}{\theta }_0=23\\ {\varphi }_0=2.25\end{array}⟹前验分布为N(23,2.25) \end{gathered}$$
2. $$\begin{gathered} 更新后验分布参数。 \\ \{\begin{array}{ll}{\varphi }_1& =(\frac{1}{{\varphi }_0}+\frac{n}{\phi }{)}^{-1}=(\frac{1}{2.25}+\frac{20}{10}{)}^{-1}\approx 0.409\\ {\theta }_1& ={\varphi }_1(\frac{{\theta }_0}{{\varphi }_0}+\frac{n\stackrel{-}{x}}{\phi })=0.409\times (\frac{23}{2.25}+\frac{20\times 22.222}{10})\approx 22.36\end{array}\stackrel{可以推出\mu 的后验分布}{\Rightarrow }\mu |X\sim N(22.36,0.409) \end{gathered}$$
3. $$\begin{gathered} 由后验分布N(22.36,0.409)可得\mu 的后验估计为E(\mu |X)=22.36，同时可得后验分布中\mu 的95\%概率的置信 \\ 区间为22.36-2\sqrt{0.409}<\mu <22.36+2\sqrt{0.409}⟹21.08<\mu <23.64 \end{gathered}$$

5. 利用马尔科夫链蒙特卡罗方法的模拟

写不开了这是链接.

二，期望$\mu$已知，方差$\phi$未知的情形

1. 参数符号

• $t_0$，先验逆卡方分布的自由度
• $t_1$，后验逆卡方分布的自由度
• $S_0$，本次数据更新前，所预估的数据与期望$\mu$的差的平方和
• $S$， 本次收集到的数据与期望$\mu$的差的平方和
• $S_1$，将本次本次收集到的数据收录到总体数据集后，总体数据与期望$\mu$的差的平方和

2. 目标

• 推导出正态总体分布$N(\mu ,\phi )(\mu 已知)$的先验共轭分布
• 根据当前已收集的样本更新后验方差$\phi$

3. 推导先验共轭分布

1. $\text{似然函数}:$在给定$\mu$以及样本数据条件下的似然函数为
   P ( φ ∣ X , μ ) = N ( X ∣ μ ) = ∏ i = 1 n { 1 2 π φ e − x i − μ 2 φ }    = ( 2 π φ ) − n / 2 ⋅ e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ )    ∝ φ − n / 2 e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ )    令 S = ∑ i = 1 n ( x i − μ ) 2 于是上式变为    = φ − n / 2 e x p ( − S / 2 φ ) \displaystyle \Rho(\varphi|X,\mu)=N(X|\mu)=\prod_{i=1}^n \{\displaystyle \frac{1}{\sqrt{2\pi\varphi}}e^{\displaystyle-\frac{x_i-\mu}{2\varphi}}\}\\ \qquad\qquad\qquad\qquad\quad\ \ = (2\pi\varphi)^{-n/2}\cdot exp( -\sum_{i=1}^n(x_i-\mu)^2/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ \propto \varphi^{-n/2} exp(-\sum_{i=1}^n(x_i-\mu)^2/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ \textcolor{red}{令S=\sum_{i=1}^n(x_i-\mu)^2于是上式变为}\\ \qquad\qquad\qquad\qquad\quad\ \ = \varphi^{-n/2} exp(-S/2\varphi) P(φ∣X,μ)=N(X∣μ)=i=1∏n​{2πφ ​1​e−2φxi​−μ​}  =(2πφ)−n/2⋅exp(−i=1∑n​(xi​−μ)2/2φ)  ∝φ−n/2exp(−i=1∑n​(xi​−μ)2/2φ)  令S=i=1∑n​(xi​−μ)2于是上式变为  =φ−n/2exp(−S/2φ)
2. $$\begin{gathered} \phi \text{的先验分布}: \\ 关于\phi 的先验分布，先设一自由度为t_0的逆卡方分布变量\eta \sim {\chi }^{-2}(t_0)，概率密度函数为f(\eta ) \end{gathered}$$，
   逆卡方分布的介绍链接.目录为6-2。
   $$\begin{gathered} 又设一常数S_0=\sum _{i=1}^n(x_{0_i}-\mu {)}^2，记为本次数据更新前所有累积数据与期望\mu 差的平方和。随后令 \\ \phi =S_0\eta 也就是说\phi \sim S_0{\chi }^{-2}(t_0)是一个逆卡方分布。于是 \end{gathered}$$
   ξ ( φ ) = f ( φ S 0 ) ⋅ 1 S 0 = S 0 t 0 / 2 2 t 0 / 2 Γ ( t 0 / 2 ) φ − t 0 / 2 − 1 e x p { − S 0 / 2 φ } 0 < φ < ∞ \xi(\varphi)=f(\frac{\varphi}{S_0})\cdot\frac{1}{S_0}= \frac{S_0^{t_0/2}}{2^{t_0/2}\Gamma(t_0/2)}\varphi^{-t_0/2-1}exp\{-S_0/2\varphi\}\quad0<\varphi<\infty ξ(φ)=f(S0​φ​)⋅S0​1​=2t0​/2Γ(t0​/2)S0t0​/2​​φ−t0​/2−1exp{−S0​/2φ}0<φ<∞
   $同时可以求出该先验分布的期望和方差为E(\phi )=\frac{S_0}{t_0-2}，Var(\phi )=\frac{2S_0^2}{(t_0-2{)}^2(t_0-4)}$
3. $\phi \text{的后验分布}:在推出似然函数与先验分布后，根据式(1)便可进行后验分布的推导$
   ω ( φ ∣ X ) ∝ P ( φ ∣ X , μ ) ξ ( φ ) ∝ S 0 t 0 / 2 2 t 0 / 2 Γ ( t 0 / 2 ) φ − t 0 / 2 − 1 e x p { − S 0 / 2 φ } ⋅ φ − n / 2 e x p ( − S / 2 φ ) ∝ S 0 t 0 / 2 2 t 0 / 2 Γ ( t 0 / 2 ) φ − ( t 0 + n ) / 2 − 1 e x p { − ( S 0 + S ) / 2 φ } S 0 t 0 / 2 2 t 0 / 2 Γ ( t 0 / 2 ) 是与 φ 无关的常数，省略后上式变为 ∝ φ − ( t 0 + n ) / 2 − 1 e x p { − ( S 0 + S ) / 2 φ } 令 t 1 = t 0 + n , S 1 = S 0 + S ，上式可以变为 = φ − t 1 / 2 − 1 e x p { − S 1 / 2 φ } 显然这是分布 S 1 χ − 2 ( t 1 ) 的核，可见 φ 的后验分布是 S 1 χ − 2 ( t 1 ) \begin{aligned} \omega(\varphi|X)&\propto \Rho(\varphi|X,\mu)\xi(\varphi)\\ &\propto \frac{S_0^{t_0/2}}{2^{t_0/2}\Gamma(t_0/2)}\varphi^{-t_0/2-1}exp\{-S_0/2\varphi\}\cdot\varphi^{-n/2} exp(-S/2\varphi)\\ &\propto \frac{S_0^{t_0/2}}{2^{t_0/2}\Gamma(t_0/2)}\varphi^{-(t_0+n)/2-1}exp\{-(S_0+S)/2\varphi\}\\ &\textcolor{red}{ \frac{S_0^{t_0/2}}{2^{t_0/2}\Gamma(t_0/2)}是与\varphi无关的常数，省略后上式变为}\\ &\propto \varphi^{-(t_0+n)/2-1}exp\{-(S_0+S)/2\varphi\}\\ &\textcolor{red}{令t_1=t_0+n,S_1=S_0+S，上式可以变为}\\ &= \varphi^{-t_1/2-1}exp\{-S_1/2\varphi\}\\ &\textcolor{red}{显然这是分布S_1\chi^{-2}(t_1)的核，可见\varphi的后验分布是S_1\chi^{-2}(t_1)} \end{aligned} ω(φ∣X)​∝P(φ∣X,μ)ξ(φ)∝2t0​/2Γ(t0​/2)S0t0​/2​​φ−t0​/2−1exp{−S0​/2φ}⋅φ−n/2exp(−S/2φ)∝2t0​/2Γ(t0​/2)S0t0​/2​​φ−(t0​+n)/2−1exp{−(S0​+S)/2φ}2t0​/2Γ(t0​/2)S0t0​/2​​是与φ无关的常数，省略后上式变为∝φ−(t0​+n)/2−1exp{−(S0​+S)/2φ}令t1​=t0​+n,S1​=S0​+S，上式可以变为=φ−t1​/2−1exp{−S1​/2φ}显然这是分布S1​χ−2(t1​)的核，可见φ的后验分布是S1​χ−2(t1​)​
4. $$\begin{gathered} \text{结论}:由\phi 的先验分布S_0{\chi }^{-2}(t_0)推出的后验分布为S_1{\chi }^{-2}(t_1)，故先验分布S_0{\chi }^{-2}(t_0)是正态分布N(\mu ,\phi )(\mu 已知)的 \\ 共轭分布。同时可以用后验分布的期望来估计\phi ，即E(\phi |X)=\frac{S_1}{t_1-2}。 \end{gathered}$$

4. 后验期望值$\phi$的估计

1). 总体步骤

1. $通过以往经验估算出前验逆卡方分布S_0{\chi }^{-2}(t_0)的参数S_0,和t_0$
2. $通过本次所得样本向量X求出样本数据与期望\mu 差的平方和S=\sum _{i=1}^n(x_i-\mu {)}^2$
3. $更新后验参数S_1=S_0+S，t_1=t_0+n，n为样本数$
4. $\phi 的后验估计即为\frac{S_1}{t_1-2}，与此同时也可以根据后验参数求出后验分布的置信区间$

2). 例子

$$\begin{gathered} 已知总体分布为N(150,\phi )(\mu =150)，样本向量X的大小为20，并且由样本数据计算得 \\ S=\sum _{i=1}^{20}(x_i-150{)}^2=724，又由以往积累的数据经验得\phi 的先验期望为45，先验标准差为19。于是对\phi 的推断如下 \end{gathered}$$

1. $$\begin{gathered} 由\phi 的先验分布为S_0{\chi }^{-2}(t_0)以及先验期望45以及先验标准差19可得 \\ \{\begin{array}{llc}E(\phi )& =\frac{S_0}{t_0-2}& =45\\ Var(\phi )& =\frac{2S_0^2}{(t_0-2{)}^2(t_0-4)}& =361\end{array}\stackrel{解方程组}{\Rightarrow }\{\begin{array}{ll}{t}_0& \approx 15(自由度取整数)\\ S_0& =585\end{array} \end{gathered}$$
2. $$\begin{gathered} 更新后验分布参数 \\ \{\begin{array}{ll}{t}_1=t_0+n=15+20& =35\\ S_1=S_0+S=585+724& =1309\end{array}\stackrel{推出后验分布}{\Rightarrow }\phi |X\sim 1309{\chi }^{-2}(35) \end{gathered}$$
3. $$\begin{gathered} 由后验分布1309{\chi }^{-2}(35)得出\phi 的估计值为E(\phi |X)=\frac{S_1}{t_1-2}\approx 39.67。另外由于自由度为35的逆卡方分布 \\ 的95\%的置信区间为0.017\sim 0.046也就是0.017<\frac{\phi }{S_1}<0.046\stackrel{于是可得}{\Rightarrow }22<\phi <60 \end{gathered}$$

5. 利用马尔科夫链蒙特卡罗方法的模拟

写不开了这是链接.

三，期望$\mu$，方差$\phi$均未知的情形

1. 目标

• 推导出正态总体分布$N(\mu ,\phi )$(全部参数未知)的先验共轭分布
• 推导出每个参数的边缘分布
• 根据当前已收集的样本更新后验期望和方差

2. 推导先验共轭分布

$\text{似然函数}:在期望与方差均未知的条件下，两者的联合分布密度函数如下$
P ( μ , φ ∣ X ) = N ( X ∣ μ , φ ) = ∏ i = 1 n { 1 2 π φ e − x i − μ 2 φ }    = ( 2 π φ ) − n / 2 ⋅ e x p ( − ∑ i = 1 n ( x i − μ ) 2 / 2 φ )    ∝ φ − n / 2 e x p ( − ∑ i = 1 n ( x i − x − + x − − μ ) 2 / 2 φ )    = φ − n / 2 e x p ( − [ ∑ i = 1 n ( x i − x − ) 2 + n ( μ − x − ) 2 ] / 2 φ )    = φ − n / 2 e x p ( − [ S + n ( μ − x − ) 2 ] / 2 φ ) 其中 x − = 1 n ∑ i = 1 n x i 为样本均值， S = ∑ i = 1 n ( x i − x − ) 2 是样本数据与样本均值差的平方和 \displaystyle \Rho(\mu,\varphi|X)=N(X|\mu,\varphi)=\prod_{i=1}^n \{\displaystyle \frac{1}{\sqrt{2\pi\varphi}}e^{\displaystyle-\frac{x_i-\mu}{2\varphi}}\}\\ \qquad\qquad\qquad\qquad\quad\ \ = (2\pi\varphi)^{-n/2}\cdot exp( -\sum_{i=1}^n(x_i-\mu)^2/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ \propto \varphi^{-n/2} exp(-\sum_{i=1}^n(x_i-\overset{-}{x}+\overset{-}{x}-\mu)^2/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ = \varphi^{-n/2} exp(-[\sum_{i=1}^n(x_i-\overset{-}{x})^2+n(\mu - \overset{-}{x})^2]/2\varphi)\\ \qquad\qquad\qquad\qquad\quad\ \ =\varphi^{-n/2} exp(-[S+n(\mu - \overset{-}{x})^2]/2\varphi)\\ \textcolor{red}{其中\overset{-}{x}=\frac{1}{n}\sum_{i=1}^nx_i为样本均值，S=\sum_{i=1}^n(x_i-\overset{-}{x})^2是样本数据与样本均值差的平方和} P(μ,φ∣X)=N(X∣μ,φ)=i=1∏n​{2πφ ​1​e−2φxi​−μ​}  =(2πφ)−n/2⋅exp(−i=1∑n​(xi​−μ)2/2φ)  ∝φ−n/2exp(−i=1∑n​(xi​−x−+x−−μ)2/2φ)  =φ−n/2exp(−[i=1∑n​(xi​−x−)2+n(μ−x−)2]/2φ)  =φ−n/2exp(−[S+n(μ−x−)2]/2φ)其中x−=n1​i=1∑n​xi​为样本均值，S=i=1∑n​(xi​−x−)2是样本数据与样本均值差的平方和
$$\begin{gathered} \text{先验分布}:根据之前两种情形下的所推导出的先验共轭分布的经验，令\phi \sim S_0{\chi }^{-2}(t_0)，而\mu |\phi \sim N({\theta }_0,\phi /n_0)， \\ 与此同时令\mu 与\phi 的联合分布为先验分布 \end{gathered}$$
ξ ( μ , φ ) = S 0 t 0 / 2 2 t 0 / 2 Γ ( t 0 / 2 ) φ − t 0 / 2 − 1 e x p { − S 0 / 2 φ } ⋅ n 0 1 / 2 ( 2 π φ ) 1 / 2 e x p { − n 0 ( μ − θ 0 ) 2 / 2 φ } = S 0 t 0 / 2 n 0 1 / 2 π 1 / 2 2 ( t 0 + 1 ) / 2 Γ ( t 0 / 2 ) ⋅ φ − ( t 0 + 1 ) / 2 − 1 e x p { − [ S 0 + n 0 ( μ − θ 0 ) 2 ] / 2 φ } S 0 t 0 / 2 n 0 1 / 2 π 1 / 2 2 ( t 0 + 1 ) / 2 Γ ( t 0 / 2 ) 是与 μ , φ 无关的常数，省略后上式变为 ∝ φ − ( t 0 + 1 ) / 2 − 1 e x p { − [ S 0 + n 0 ( μ − θ 0 ) 2 ] / 2 φ } \begin{aligned} \xi(\mu,\varphi)&=\frac{S_0^{t_0/2}}{2^{t_0/2}\Gamma(t_0/2)}\varphi^{-t_0/2-1}exp\{-S_0/2\varphi\}\cdot \frac{n_0^{1/2}}{(2\pi\varphi)^{1/2}}exp\{-n_0(\mu-\theta_0)^2/2\varphi\}\\ &=\frac{S_0^{t_0/2}n_0^{1/2}}{\pi^{1/2}2^{(t_0+1)/2}\Gamma(t_0/2)}\cdot \varphi^{-(t_0+1)/2-1}exp\{-[S_0+n_0(\mu-\theta_0)^2]/2\varphi\}\\ &\textcolor{red}{\frac{S_0^{t_0/2}n_0^{1/2}}{\pi^{1/2}2^{(t_0+1)/2}\Gamma(t_0/2)}是与\mu,\varphi无关的常数，省略后上式变为}\\ &\propto \varphi^{-(t_0+1)/2-1}exp\{-[S_0+n_0(\mu-\theta_0)^2]/2\varphi\}\\ \end{aligned} ξ(μ,φ)​=2t0​/2Γ(t0​/2)S0t0​/2​​φ−t0​/2−1exp{−S0​/2φ}⋅(2πφ)1/2n01/2​​exp{−n0​(μ−θ0​)2/2φ}=π1/22(t0​+1)/2Γ(t0​/2)S0t0​/2​n01/2​​⋅φ−(t0​+1)/2−1exp{−[S0​+n0​(μ−θ0​)2]/2φ}π1/22(t0​+1)/2Γ(t0​/2)S0t0​/2​n01/2​​是与μ,φ无关的常数，省略后上式变为∝φ−(t0​+1)/2−1exp{−[S0​+n0​(μ−θ0​)2]/2φ}​
$通过观察该联合分布的核，称其为正态\sim 逆卡方分布$

$\text{后验分布}:在推出似然函数与先验分布后，根据式(1)便可进行后验分布的推导$
ω ( μ , φ ∣ X ) ∝ P ( μ , φ ∣ X ) ξ ( μ , φ ) ∝ φ − n / 2 e x p ( − [ S + n ( μ − x − ) 2 ] / 2 φ ) ⋅ φ − ( t 0 + 1 ) / 2 − 1 e x p { − [ S 0 + n 0 ( μ − θ 0 ) 2 ] / 2 φ } = φ − ( t 0 + n + 1 ) / 2 − 1 e x p { − [ S + S 0 + n 0 ( μ − θ 0 ) 2 + n ( μ − x − ) 2 ] / 2 φ } ( 2 ) = φ − ( t 1 + 1 ) / 2 − 1 e x p { − [ S 1 + n 1 ( μ − θ 1 ) 2 ] / 2 φ }   ( 3 ) \begin{aligned} \omega(\mu,\varphi|X)&\propto \Rho(\mu,\varphi|X)\xi(\mu,\varphi)\\ &\propto \varphi^{-n/2} exp(-[S+n(\mu - \overset{-}{x})^2]/2\varphi)\cdot \varphi^{-(t_0+1)/2-1}exp\{-[S_0+n_0(\mu-\theta_0)^2]/2\varphi\}\\ &= \varphi^{-(t_0+n+1)/2-1}exp\{-[S+S_0+n_0(\mu-\theta_0)^2+n(\mu - \overset{-}{x})^2]/2\varphi\}\qquad\qquad\qquad(2)\\ &= \varphi^{-(t_1+1)/2-1}exp\{-[S_1+n_1(\mu-\theta_1)^2]/2\varphi\}\qquad\qquad\qquad\qquad\qquad\qquad\qquad\ (3) \end{aligned} ω(μ,φ∣X)​∝P(μ,φ∣X)ξ(μ,φ)∝φ−n/2exp(−[S+n(μ−x−)2]/2φ)⋅φ−(t0​+1)/2−1exp{−[S0​+n0​(μ−θ0​)2]/2φ}=φ−(t0​+n+1)/2−1exp{−[S+S0​+n0​(μ−θ0​)2+n(μ−x−)2]/2φ}(2)=φ−(t1​+1)/2−1exp{−[S1​+n1​(μ−θ1​)2]/2φ} (3)​
$$\begin{gathered} 关于(2)式变换的说明如下，令t_1=t_0+n，n_1=n_0+n，{\theta }_1=\frac{n_0{\theta }_0+n\stackrel{-}{x}}{n_1}以及S_1=S_0+S+\frac{n_{0}n({\theta }_0-\stackrel{-}{x}{)}^2}{n_1} \\ 也就是说S_1+n_1(\mu -{\theta }_1{)}^2=S_0+S+\frac{n_{0}n({\theta }_0-\stackrel{-}{x}{)}^2}{n_1}+\frac{(n_1\mu -n_0{\theta }_0-n\stackrel{-}{x}{)}^2}{n_1}=S_0+S+n_0(\mu -{\theta }_0{)}^2+n(\mu -\stackrel{-}{x}{)}^2 \\ 这一步虽然看上去比较繁琐，但因为所有的变换步骤中都没有涉及到未知参数\mu 和\phi ，仅用到了以往的累积数据 \\ 和当前获得的样本数据而完成的，所以变换是可行的。通过对后验分布密度函数核的观察不难发现其仍然是一个 \\ 正态\sim 逆卡方分布 \end{gathered}$$

$$\begin{gathered} \text{结论}:由于通过先验正态\sim 逆卡方分布推出的后验分布仍然是一个正态\sim 逆卡方分布，所以可知 \\ 正态\sim 逆卡方分布是正态总体分布(\mu ,\phi 均未知)的共轭分布 \end{gathered}$$

3. 推导$\mu ，\phi$的后验边缘分布

$$\begin{gathered} 虽然已经推导出正态总体分布(\mu ,\phi 均未知)的共轭先验分布以及后验分布，但由于后验分布为二元联合分布，所以 \\ 如果想要根据样本向量更新\mu 与\phi 的估计还需要求得在后验分布中两参数各自的边缘分布 \end{gathered}$$

1). $\phi$的后验边缘分布

$$\begin{gathered} 通过对比前验分布和后验分布的核以及前验分布的定义易知\phi 的后验边缘分布为S_1{\chi }^{-2}(t_1)，当然通过对\mu 求积分 \\ 也很容易得出这个结论 \end{gathered}$$

2).$\mu$的后验边缘分布

$$\begin{gathered} 同理于前验分布，后验分布中对于式子(3)所省略的归一化常数因子为\frac{S_1^{t_1/2}{n}_1^{1/2}}{{\pi }^{1/2}{2}^{(t_1+1)/2}\Gamma (t_1/2)}=A_1，同时又令 \\ {A}_2=S_1+n_1(\mu -{\theta }_1{)}^2，那么整个后验分布的联合函数可以写为 \end{gathered}$$
$$\omega (\mu ,\phi |X)=A_1{\phi }^{-(t_1+1)/2-1}exp(-A_2/2\phi )$$
$求\phi 的积分便可得\mu 的后验边缘分布函数$
$$f_{\mu }(\mu |X)={\int }_0^{\infty }{A}_1{\phi }^{-(t_1+1)/2-1}exp(-A_2/2\phi )d\phi$$
$再设z=A_2^{-1}\phi 对积分进行换元可得$
$$\begin{array}{rl}{f}_z(z|X)& =A_1{A}_2^{-(t_1+1)/2}{\int }_0^{\infty }{z}^{-(t_1+1)/2-1}{e}^{-\frac{1}{2z}}dz\\ & =2^{(t_1+1/)2}\Gamma (\frac{t_1+1}{2})A_1{A}_2^{-(t_1+1)/2}\cdot {\int }_0^{\infty }\frac{1}{2^{(t_1+1/)2}\Gamma (\frac{t_1+1}{2})}{z}^{-(t_1+1)/2-1}{e}^{-\frac{1}{2z}}dz\end{array}$$
$$\begin{gathered} 对比自由度为t的逆卡方分布的概率密度函数f(x)=\frac{1}{2^{t/2}\Gamma (t/2)}{x}^{-t/2-1}{e}^{-\frac{1}{2x}}0<x<\infty ，很明显上式被积函数是 \\ 自由度为t_1的逆卡方分布{\chi }^{-2}(t_1+1)的概率密度函数，而一个有效概率密度函数在全部支撑区间内的积分结果自然 \\ 为1，所以上式变为 \end{gathered}$$
$$\begin{array}{rl}{f}_{\mu }(\mu |X)& =A_1{A}_2^{-(t_1+1)/2}{\int }_0^{\infty }{z}^{-(t_1+1)/2-1}{e}^{-\frac{1}{2z}}dz\\ & =2^{(t_1+1/)2}\Gamma (\frac{t_1+1}{2})A_1{A}_2^{-(t_1+1)/2}\\ & =\frac{S_1^{t_1/2}{n}_1^{1/2}\Gamma ((t_1+1)/2)}{{\pi }^{1/2}\Gamma (t_1/2)}[S_1+n_1(\mu -{\theta }_1{)}^2{]}^{-(t_1+1)/2}(-\infty <\mu <\infty )\end{array}$$
$若令V^2=S_1/t_1，则上式又可以变为$
$$\begin{array}{rl}{f}_{\mu }(\mu |X)& =\frac{\sqrt{n_1}\cdot \Gamma ((t_1+1)/2)}{\sqrt{\pi t_1}\cdot V\cdot \Gamma (t_1/2)}[1+\frac{1}{t_1}(\frac{\mu -{\theta }_1}{V/\sqrt{n_1}}{)}^2{]}^{-(t_1+1)/2}(-\infty <\mu <\infty )\end{array}$$
$此时再令k=\frac{\mu -{\theta }_1}{V/\sqrt{n_1}}进行最后一次换元，上式变为$
$$f_k(k|X)=f_{\mu }(\frac{V\cdot k}{\sqrt{n_1}}+{\theta }_1|X)\cdot \frac{V}{\sqrt{n_1}}=\frac{\Gamma [(t_1+1)/2]}{\sqrt{\pi t_1}\cdot \Gamma (t_1/2)}(1+\frac{k^2}{t_1}{)}^{-(t_1+1)/2}(-\infty <k<\infty )$$
$$\begin{gathered} 显然这是一个自由度为t_1的t分布的密度函数，也就是说\frac{\mu -{\theta }_1}{V/\sqrt{n_1}}\sim t(t_1)，于是可以得出结论\mu 的后验边缘分布是 \\ 一个位置尺度变换后的t分布。又由于t分布的概率密度函数是一个偶函数，其分布图象是类似于标准正态分布 \\ 关于Y轴左右对称的，所以只要自由度大于1那么期望值就会收敛到0,(自由度为1时，t分布为柯西分布，不存在 \\ 期望值)所以E(\mu |X)=E(\frac{V}{\sqrt{n_1}}t(t_1)+{\theta }_1)=0+{\theta }_1={\theta }_1。于是最终得出对\mu 的估计为 \end{gathered}$$
$$E(\mu |X)={\theta }_1(t_1>1)$$

4. 后验期望值$\mu$方差$\phi$的估计

1). 总体步骤

1. $通过以往经验或已知条件估算出前验联合分布中逆卡方分布S_0{\chi }^{-2}(t_0)的参数S_0,和t_0$
2. $通过本次所得样本向量X求出样本均值\stackrel{-}{x}=\frac{1}{n}\sum _{i=1}^n{x}_i，以及样本数据与样本均值差的平方和S=\sum _{i=1}^n(x_i-\mu {)}^2$
3. $$\begin{gathered} 更新后验分布参数，n_1=n+n_0,t_1=t_0+n,{\theta }_1=\frac{n_0{\theta }_0+n\stackrel{-}{x}}{n_1},S_1=S_0+S+\frac{n_{0}n({\theta }_0-\stackrel{-}{x}{)}^2}{n_1}， \\ 如果要求\mu 的后验边缘分布还需求出V=\sqrt{\frac{S_1}{t_1}} \end{gathered}$$
4. $对\mu 以及\phi 进行后验估计，E(\mu |X)={\theta }_1，E(\phi |X)=\frac{S_1}{t_1-2}$

从最终的后验估计方法来看，与之前两种情形并没有不同，但关键参数的求解会有所不同，这是以随机变量为条件和以发生的事件为条件来求定义先验分布所带来的不同

2). 例子

$$\begin{gathered} 设总体分布Z\sim N(\mu ,\phi )。由以往经验可知: \\ 条件(1)\mu 应有期望{\theta }_0=1500,这差不多时n_0=20个观测值的结果。 \\ 条件(2)\phi 应有均值45，标准差19。 \\ 由当前获得样本向量X可知: \\ 条件(3)有样本数量为n=25，并算得\stackrel{-}{x}=\frac{1}{25}{\sum }_{i=1}^{25}{x}_i=1541，S={\sum }_{i=1}^{25}(x_i-\stackrel{-}{x})=247。 \\ 那么对\mu 和\phi 的估计推导如下: \end{gathered}$$

1. $\{\begin{array}{llc}E(\phi )& =\frac{S_0}{t_0-2}& =45\\ Var(\phi )& =\frac{2S_0^2}{(t_0-2{)}^2(t_0-4)}& =361\end{array}\stackrel{解方程组}{\Rightarrow }\{\begin{array}{ll}{t}_0& \approx 15(自由度取整数)\\ S_0& =585\end{array}$
2. $$\begin{array}{rl}{n}_1& =n_0+n=20+25=45；\\ t_1& =t_0+n=15+25=40；\\ {\theta }_1& =\frac{n_0{\theta }_0+n\stackrel{-}{x}}{n_1}=\frac{20\times 1500+25\times 1541}{45}\approx 1523\\ S_1& =S_0+S+\frac{n_{0}n({\theta }_0-\stackrel{-}{x}{)}^2}{n_1}=585+247+\frac{20\times 25\times (1500-1541{)}^2}{45}\approx 19510\end{array}$$
3. $估计后验期望与方差:E(\mu |X)={\theta }_1=1523;E(\phi |X)=\frac{S_1}{t_1-2}=\frac{19510}{40-2}\approx 513$

c. 参考文献

【1】 洪锡熙 厦门大学《正态分布的共轭分布及贝叶斯估计》1994
【2】 Christopher M. Bishop 《Pattern Recognition and Machine Learning》Springer Science+Business Media, LLC 2006
【3】 Joseph K.Blizstein，Jessica Hwang 《概率论导论》机械工业出版社