Wishart分布

Wishart分布是多元正态分布样本协方差矩阵的概率分布,是对χ2分布的推广。当n个独立的p维正态样本的转置乘以其自身时,得到的散度矩阵S服从Wishart分布。它在统计推断和多元分析中用于估计未知的协方差矩阵。自由度n和参数Σ定义了分布,标准形式为W(Σ,p,n)。当p=Σ=1时,分布退化为χ2分布,而当协方差为单位矩阵时,称为标准Wishart分布。" 102753868,5842952,神经网络学习率选择与影响,"['深度学习', '模型训练', '机器学习', '优化算法']
摘要由CSDN通过智能技术生成

Wishart分布是 χ 2 \chi^2 χ2​​ 分布在多元上的推广。因此,它可以用来描述多元正态分布样本的协方差矩阵。Wishart分布是一组定义在对称、非负定矩阵的随机变量(随机矩阵)。

定义
假设 X X X是一个 n × p n\times p n×p的矩阵,每一行都是从均值为0的 p p p维正态分布中抽取的独立样本,即:
X ( i ) = ( x i 1 , ⋯   , x i p ) ∼ N p ( 0 , Σ ) X_{(i)} = (x_i^1,\cdots,x_i^p) \sim N_p(\textbf{0},\Sigma) X(i)=(xi1,,xip)Np(0,Σ)
那么,Wishart分布 S S S就是这个 p × p

Wishart分布的可加性可以通过证明矩阵的对数行列式的可加性来得到。具体地,假设$W_1$和$W_2$是两个$p \times p$的Wishart分布的矩阵,自由度分别为$n_1$和$n_2$,尺度矩阵分别为$V_1$和$V_2$。则矩阵的对数行列式的和为: $$ \begin{aligned} \log|W_1 + W_2| &= \log|W_1(I + W_1^{-1}W_2)| \\ &= \log|W_1| + \log|I + W_1^{-1}W_2| \\ &= (n_1-p-1)\log|V_1| - \sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) \\ &\quad +\log|I + W_1^{-1}W_2| \\ &\quad + (n_2-p-1)\log|V_2| - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \\ &= \log|W_1| + \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}| \\ &\quad + \log|W_2| \\ &\quad - \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2} + W_2^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_2^{-1/2}| \\ &\quad -\sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \end{aligned} $$ 其中,我们使用了矩阵的Woodbury矩阵恒等式$(A+UCV)^{-1}=A^{-1}-A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}$,并将$W_1$分解为$W_1=Z_1Z_1^T$,其中$Z_1$是$p \times n_1$的矩阵,满足$Z_1^TZ_1=V_1$。同理,将$W_2$分解为$W_2=Z_2Z_2^T$,其中$Z_2$是$p \times n_2$的矩阵,满足$Z_2^TZ_2=V_2$。 进一步地,我们可以使用矩阵的特征值分解将上式中的$\log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}|$表示为: $$ \begin{aligned} \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}| &= \sum_{i=1}^p\log(1+\lambda_i) \\ &= \sum_{i=1}^p\log\left(\frac{\lambda_i}{1+\lambda_i}\right) + \sum_{i=1}^p\log(1+\lambda_i) \\ &= \log|W_1^{-1}W_2| + \sum_{i=1}^p\log(1+\lambda_i) \end{aligned} $$ 其中,$\lambda_i$是矩阵$W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}$的第$i$个特征值。 综上所述,我们可以将$\log|W_1+W_2|$表示为: $$ \begin{aligned} \log|W_1 + W_2| &= \log|W_1| + \log|W_2| + \log|I + W_1^{-1}W_2| \\ &\quad + \sum_{i=1}^p\log(1+\lambda_i) \\ &\quad -\log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2} + W_2^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_2^{-1/2}| \\ &\quad -\sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \end{aligned} $$ 因此,我们证明了Wishart分布的可加性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值