逆Wishart分布在贝叶斯推理中的应用

Wishart分布的概率密度函数

$$\begin{gathered} f(w|v,H)=\frac{|w{|}^{(v-p-1)/2}}{2^{vp/2}{\Gamma }_p(v/2)|H{|}^{v/2}}exp[-\frac{1}{2}tr(H^{-1}w)] \\ 其中，{\Gamma }_p(v/2)={\pi }^{p(p-1)/4}\prod _{j=1}^p\Gamma (\frac{v+1-j}{2}) \end{gathered}$$
在上式中，$w$是一个$p\ast p$的随机矩阵，$H$是一个$p\ast p$的特定矩阵，$v$表示自由度。也记作$W(v,H)$

逆Wishart分布的概率密度函数

$$f(w|v,H)=\frac{|H{|}^{v/2}}{2^{vp/2}{\Gamma }_p(v/2)|w{|}^{(v+p+1)/2}}exp[-\frac{1}{2}tr(w^{-1}H)]$$
在上式中，$w$是一个$p\ast p$的随机矩阵，$H$是一个$p\ast p$的特定矩阵，$v$表示自由度。也记作$IW(v,H)$

多元正态分布的概率密度函数

$$f(X|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}exp[-\frac{1}{2}(X-\mu {)}^T{\Sigma }^{-1}(X-\mu )]$$
$X$是一个$p$维的向量。也记作$N(\mu ,\Sigma )$

正态-逆Wishart分布

多元正态分布与逆Wishart分布的概率密度函数的乘积就是正态-逆Wishart分布的概率密度函数。
正态-逆Wishart分布的共轭分布还是正态-逆Wishart分布。
$$NIW=\frac{|H{|}^{v/2}}{2^{(vp+p)/2}{\Gamma }_p(v/2)|w{|}^{(v+p+1)/2}}\frac{1}{{\pi }^{p/2}|\Sigma {|}^{1/2}}exp[-\frac{1}{2}tr(w^{-1}H)-\frac{1}{2}(X-\mu {)}^T{\Sigma }^{-1}(X-\mu )]$$
参数是$\mu ,\Sigma ,v,H$

多元t分布

$$t_v(x|\mu ,\Sigma )=\frac{\Gamma (v/2+d/2)}{\Gamma (v/2)}\frac{|\Sigma {|}^{-1/2}}{(v\pi {)}^{d/2}}[1+\frac{1}{v}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ){]}^{\frac{-(v+d)}{2}}$$
$x$是一个$d$维的向量，$v$是自由度，$\mu 和\Sigma$是均值和方差。

后验分布

假设有总体$A_1,A_2,,,A_G$，其中每一个总体$A_i$都服从$p$维的正态分布，即有：
$$A_i\backsim N_p({\mu }_i,{\Sigma }_i)$$
那么对于其中的某个总体$A_i$来说，如果在其中取$n_i$个样本$X_{i,1},X_{i,2},X_{i,2},,,X_{i,n_i}$，其样本统计量：
$$\begin{gathered} \overline{X_i}=\frac{1}{n_i}\sum _{j=1}^{n_i}{X}_{i,j}=f_1(\overline{X_i}|{\mu }_i,{\Sigma }_i;A_i) \\ {V}_i=\sum _{j=1}^{n_i}(X_{i,j}-\overline{X_i})(X_{i,j}-\overline{X_i}{)}^T=f_2(V_i|{\mu }_i,{\Sigma }_i;A_i) \end{gathered}$$

统计量$\overline{X_i},V_i$二者相互独立 ，通过威沙特分布和逆威沙特分布可以知道，
$$\begin{gathered} \overline{X_i}\backsim N_p({\mu }_i,\frac{{\Sigma }_i}{n_i}) \\ {V}_i\backsim W_p(n_i-1,{\Sigma }_i) \end{gathered}$$
所以$f_1(\overline{X_i}|{\mu }_i,{\Sigma }_i;A_i)$的概率密度函数为：
$$\begin{array}{rl}{f}_1(\overline{X_i}|{\mu }_i,{\Sigma }_i;A_i)=& N_p({\mu }_i,\frac{{\Sigma }_i}{n_i})\\ =& \frac{n_i^{1/2}}{(2\pi {)}^{p/2}|{\Sigma }_i{|}^{1/2}}exp[-\frac{n_i}{2}(\overline{X_i}-{\mu }_i{)}^T{\Sigma }_i^{-1}(\overline{X_i}-{\mu }_i)]\end{array}$$
$f_2(V_i|{\mu }_i,{\Sigma }_i;A_i)$的概率密度函数为：
$$\begin{array}{rl}{f}_2(V_i|{\mu }_i,{\Sigma }_i;A_i)=& W_p(n_i-1,{\Sigma }_i)\\ =& k_i\frac{|V_i{|}^{(n_i-p-2)/2}}{|{\Sigma }_i{|}^{(n_i-1)/2}}exp[-\frac{1}{2}tr({\Sigma }_i^{-1}{V}_i)]\\ & 其中，k_i=[2^{(n_i-1)p/2}{\pi }^{p(p-1)/4}\prod _{j=1}^p\Gamma (\frac{n_i-j}{2}){]}^{-1}\end{array}$$
由于$\overline{X_i},V_i$二者相互独立，所以它们的联合概率分布的概率密度函数等于二者的乘积，所以样本的似然函数为：
$$\begin{array}{rl}L(\overline{X_i},V_i|{\mu }_i,{\Sigma }_i)=& f_1(\overline{X_i}|{\mu }_i,{\Sigma }_i;A_i)f_2(V_i|{\mu }_i,{\Sigma }_i;A_i)\\ =& \frac{k_i{n}_i^{1/2}|V_i{|}^{(n_i-p-2)/2}}{(2\pi {)}^{p/2}|{\Sigma }_i{|}^{n_i/2}}exp[-\frac{n_i}{2}(\overline{X_i}-{\mu }_i{)}^T{\Sigma }_i^{-1}(\overline{X_i}-{\mu }_i)-\frac{1}{2}tr({\Sigma }_i^{-1}{V}_i)]\end{array}$$
可以看出，似然函数的分布与正态-逆Wishart分布具有相同的形式，这样，由于正态-逆Wishart分布的共轭分布仍然是正态-逆Wishart分布，因此，可以选取如下形式的正态-逆Wishart分布作为参数${\mu }_i,{\Sigma }_i$的先验分布。
$$\begin{array}{r}{\Sigma }_i\backsim I{W}_p(v_0,{\Lambda }_0)=k_i\frac{|{\Lambda }_0{|}^{v_0/2}}{|{\Sigma }_i{|}^{(v_0+p+1)/2}}exp[-\frac{1}{2}tr({\Sigma }_i^{-1}{\Lambda }_0)]\\ {\mu }_i|{\Sigma }_i\backsim N_p({\mu }_0,\frac{{\Sigma }_i}{k_0})=\frac{k_0^{1/2}}{(2\pi {)}^{p/2}|{\Sigma }_i{|}^{1/2}}exp[-\frac{k_0}{2}({\mu }_i-{\mu }_0{)}^T{\Sigma }_i^{-1}({\mu }_i-{\mu }_0)]\\ p({\mu }_i,{\Sigma }_i)=p({\Sigma }_i)p({\mu }_i|{\Sigma }_i)=I{W}_p(v_0,{\Lambda }_0)N_p({\mu }_0,\frac{{\Sigma }_i}{k_0})\end{array}$$
参数是${\mu }_0,k_0,v_0,{\Lambda }_0$
由贝叶斯定理知道，后验正比于似然乘以先验。所以
$$p({\mu }_i,{\Sigma }_i|\overline{X_i},V_i)\propto L(\overline{X_i},V_i|{\mu }_i,{\Sigma }_i)p({\mu }_i,{\Sigma }_i)$$

至此，我们得到了后验分布，后验分布也是一个正态-逆Wishart分布，参数是${\mu }_n,{\Sigma }_n,v_n,{\Lambda }_n$，省略下标$i$，得到：
$$p(\mu ,\Sigma |D,{\mu }_0,k_0,v_0,{\Lambda }_0)=NIW(\mu ,\Sigma |{\mu }_n,k_n,v_n,{\Lambda }_n)\text{\hspace{1em}(*)}$$

上面，$\bar{x}=\bar{y}$为样本均值，$s$为样本平方误差。

通过边缘化（*）式，边缘概率分布为：

这样就求得了后验分布的解析形式。