【多元统计分析】08.协方差阵的假设检验

八、协方差阵的假设检验

上一篇笔记中讨论了均值向量的假设检验，本篇对多元正态分布的另一个参数假设检验作出讨论。关于协方差阵检验，适用的都是似然比检验法，其表现形式更为繁琐，记住取到似然函数最大值的参数会更方便。

1.单总体协方差阵的假设检验

假设有一个来自总体$N_p(\mu ,\Sigma )$的样本$X_{(\alpha )}(\alpha =1,\cdots ,n)$，只知道$\Sigma >0$但不知道其具体值，假设检验问题就是
$$H_0:\Sigma ={\Sigma }_0(>0)\iff H_1:\Sigma \ne {\Sigma }_0.$$
依然从最简单的情况入手，${\Sigma }_0$为单位阵$I_p$时，检验$H_0:\Sigma =I_p$问题。使用似然比检验法，构造似然比统计量为
$$\lambda =\frac{{\max }_{\mu }L(\mu ,I_p)}{{\max }_{\mu ,\Sigma >0}L(\mu ,\Sigma )}.$$
先写出似然函数为
$$\begin{gathered} L(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left\{-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(X_{(\alpha )}-\mu )\right\}, \\ l(\mu ,\Sigma )=-\frac{np}{2}\ln (2\pi )+\frac{n}{2}\ln |{\Sigma }^{-1}|-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(X_{(\alpha )}-\mu ). \end{gathered}$$
取对数似然，分别对$\mu ,{\Sigma }^{-1}$求导得到
$$\begin{gathered} \frac{\partial l}{\partial \mu }={\Sigma }^{-1}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu ), \\ \frac{\partial l}{\partial {\Sigma }^{-1}}=\frac{n}{2}\Sigma -\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu )(X_{(\alpha )}-\mu {)}^{\prime }. \end{gathered}$$
分子取最大值时固定$\Sigma =I_p={\Sigma }^{-1}$，$\mu =\bar{X}$；分母取最大值时$\mu =\bar{X},\Sigma =A/n$，所以
$$\lambda =\frac{(2\pi {)}^{-np/2}|I_p{|}^{-n/2}\exp [-\frac{1}{2}\mathrm{t}\mathrm{r}(I_p^{-1}A)]}{(2\pi {)}^{-np/2}(e/n{)}^{-np/2}|A{|}^{-n/2}}=\exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}(A)\right\}|A{|}^{n/2}{\left(\frac{e}{n}\right)}^{np/2}.$$

以上等式成立，是因为
$$\begin{array}{rl}& \exp \left\{-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }{\left(\frac{A}{n}\right)}^{-1}(X_{(\alpha )}-\mu )\right\}\\ =& \exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}\left(\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }{A}^{-1}n(X_{(\alpha )}-\mu )\right)\right\}\\ =& \exp \left\{-\frac{n}{2}\mathrm{t}\mathrm{r}\left(A^{-1}A\right)\right\}\\ =& e^{-\frac{np}{2}}.\end{array}$$
这个似然比检验统计量的形式比较复杂，不适合化成多元三大分布或者化成一元三大分布，所以是用似然比检验的近似，构造$\xi =-2\ln \lambda$，即
$$\xi =\mathrm{t}\mathrm{r}(A)-n\ln |A|-np+np\ln n.$$
当$n\to \infty$时，$\xi$渐进${\chi }^2(f)$分布，$f$是分母、分子的参数空间维数之差，这里分子的参数空间是$p$维的（均值向量），分母的参数空间是$p+\frac{p(p+1)}{2}$维的（均值向量与对称的自协方差阵），所以$f=\frac{p(p+1)}{2}$，即
$$\xi =\mathrm{t}\mathrm{r}(A)-n\ln |A|+np(\ln n-1)\to {\chi }^2\left(\frac{p(p+1)}{2}\right).$$
对稍复杂的情况，检验$H_0:\Sigma ={\Sigma }_0\ne I_p$，自然而然地我们会想到使用一个线性变换，将${\Sigma }_0$的检验转化成$I_p$的检验。因为${\Sigma }_0>0$即对称可逆，所以存在正交阵$\Gamma$使得$\Gamma {\Sigma }_0{\Gamma }^{\prime }=\Lambda ={\Lambda }^{1/2}{I}_p{\Lambda }^{1/2}$，所以必定存在可逆阵$D=\Gamma {\Lambda }^{-1/2}$使得$D{\Sigma }_0{D}^{\prime }=I_p$。因此，我们令$Y_{(\alpha )}=D{X}_{(\alpha )}$，就有$Y_{(\alpha )}\sim N(D\mu ,D\Sigma D^{\prime })$，这样假设检验变成了$H_0:\Sigma ={\Sigma }_0\iff D\Sigma D^{\prime }=I_p$。

在这样的变换下，令$Y_{(\alpha )}$的样本均值为$\bar{Y}$，离差阵为$A^{\ast }$，则似然比检验统计量为
$$\begin{array}{rl}\lambda =& \exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}(A^{\ast })\right\}|A^{\ast }{|}^{n/2}{\left(\frac{e}{n}\right)}^{np/2}\\ =& \exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}(DA{D}^{\prime })\right\}|DA{D}^{\prime }{|}^{n/2}{\left(\frac{e}{n}\right)}^{np/2}\\ =& \exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}(AD{D}^{\prime })\right\}|AD{D}^{\prime }{|}^{n/2}{\left(\frac{e}{n}\right)}^{np/2}\\ =& \exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}(A{\Sigma }_0^{-1})\right\}|A{\Sigma }_0^{-1}{|}^{n/2}{\left(\frac{e}{n}\right)}^{np/2}.\end{array}$$
其近似为
$$\xi =-2\ln \lambda =-\frac{1}{2}\mathrm{t}\mathrm{r}(A{\Sigma }_0^{-1})-n\ln |A{\Sigma }_0^{-1}|+np(\ln n-1)\to {\chi }^2\left(\frac{p(p+1)}{2}\right).$$
可以看到，在最终的检验统计量中并不含有变换矩阵$D$，所以在应用上还是十分方便的。

2.特殊的单总体协方差阵检验——球性检验

球性检验，指的是以下这种检验问题：$H_0:\Sigma ={\sigma }^2{I}_p$，这里${\sigma }^2$是未知的量；一般地，我们对以下问题进行假设检验：$H_0:\Sigma ={\sigma }^2{\Sigma }_0$，依然适用似然比检验法。此时，对于分子，有
$$\begin{array}{rl}L(\mu ,{\sigma }^2{\Sigma }_0)=& \frac{1}{(2\pi {)}^{np/2}|{\Sigma }_0{|}^{n/2}{{\sigma }^2}^{(np/2)}}\exp \left\{-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }({\sigma }^2{\Sigma }_0{)}^{-1}(X_{(\alpha )}-\mu )\right\},\\ =& C\cdot \frac{1}{({\sigma }^2{)}^{np/2}}\exp \left\{-\frac{1}{2}\mathrm{t}\mathrm{r}\left(\sum _{\alpha =1}^n(X_{(\alpha )}-\mu {)}^{\prime }\frac{{\Sigma }_0^{-1}}{{\sigma }^2}(X_{(\alpha )}-\mu )\right)\right\}\\ =& \frac{C}{({\sigma }^2{)}^{np/2}}\exp \left\{-\frac{1}{2({\sigma }^2)}\mathrm{t}\mathrm{r}\left({\Sigma }_0^{-1}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu )(X_{(\alpha )}-\mu {)}^{\prime }\right)\right\}\\ l(\mu ,{\sigma }^2{\Sigma }_0)=& C^{\prime }-\frac{np}{2}\ln ({\sigma }^2)-\frac{1}{2({\sigma }^2)}\mathrm{t}\mathrm{r}\left({\Sigma }_0^{-1}\sum _{\alpha =1}^n(X_{(\alpha )}-\mu )(X_{(\alpha )}-\mu {)}^{\prime }\right)\end{array}$$
这里第一行到第二行，用到标量的迹仍然是标量本身，第二行到第三行运用了迹运算的可交换性。对$\mu$求导得到$\mu =\bar{X}$，再带入后将$l(\mu ,{\sigma }^2{\Sigma }_0)$对${\sigma }^2$求导，有
$$0=-\frac{np}{2}\frac{1}{{\sigma }^2}+\frac{\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)}{2}\frac{1}{({\sigma }^2{)}^2},$$
所以
$${\hat{\sigma }}^2=\frac{\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)}{np}.$$
此时，似然比检验量的分子为
$$\begin{array}{rl}& \frac{1}{(2\pi {)}^{np/2}|{\hat{\sigma }}^2{\Sigma }_0{|}^{n/2}}\exp \left\{-\frac{1}{2{\hat{\sigma }}^2}\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)\right\}\\ =& (2\pi {)}^{-np/2}|{\Sigma }_0{|}^{-n/2}{\left(\frac{\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)}{np}\right)}^{-np/2}\exp \left\{-\frac{np}{2\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)}\cdot \mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)\right\}\\ =& (2\pi {)}^{-np/2}|{\Sigma }_0{|}^{-n/2}(\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)/np{)}^{-np/2}{e}^{-np/2}.\end{array}$$
而分母依然是$(2\pi {)}^{-np/2}(e/n{)}^{-np/2}|A{|}^{n/2}$，所以似然比统计量为
$$\begin{gathered} \lambda =\frac{|{\Sigma }_0^{-1}A{|}^{n/2}}{[\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)/p{]}^{np/2}}, \\ -2\ln \lambda =np\ln \left(\frac{\mathrm{t}\mathrm{r}({\Sigma }_0^{-1}A)}{p}\right)-n\ln |{\Sigma }_0^{-1}A|\to {\chi }^2\left(\frac{p(p+1)}{2}-1\right). \end{gathered}$$

3.多总体协方差阵的检验

回想我们在多总体均值假设检验时，总给定一个前提，即这些总体是同协方差矩阵的，但实际上，这些总体是否真的是同协方差矩阵的还有待商榷，所以，多总体协方差阵检验也是很重要的一个假设检验问题。现在有$k$个总体$N_p({\mu }^{(t)},{\Sigma }_t)(t=1,\cdots ,k)$，第$t$个总体中有$n_t$个样本$X_{(\alpha )}^{(k)}(\alpha =1,\cdots ,n_t)$，${\sum }_{t=1}^k{n}_t=n$，我们要检验的假设是
$$H_0:{\Sigma }_1=\cdots ={\Sigma }_k\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\Sigma \iff H_1:{\Sigma }_1,\cdots ,{\Sigma }_k不全相等.$$
依然适用似然比检验，似然函数和似然比统计量为
$$\begin{gathered} L({\mu }^{(1)},{\Sigma }_1,\cdots ,{\mu }^{(k)},{\Sigma }_k)=\prod _{t=1}^k{L}_t({\mu }^{(t)},{\Sigma }_t), \\ \lambda =\frac{{\max }_{{\mu }^{(t)},\Sigma }{\prod }_{t=1}^k{L}_t({\mu }^{(t)},\Sigma )}{{\max }_{{\mu }^{(t)},{\Sigma }_t}{\prod }_{t=1}^k{L}_t({\mu }^{(t)},{\Sigma }_t)}. \end{gathered}$$
分母中自然选择${\bar{X}}^{(t)},A_t/n_t$作为参数代入，而分子则以${\bar{X}}^{(t)},A/n$代入，这里$A=A_1+\cdots +A_k$。最后得到的似然比统计量为
$$\lambda =\frac{|A/n{|}^{-n/2}}{{\prod }_{t=1}^k|A_t/n_t{|}^{-n_t/2}}.$$
根据无偏性要求调整，得到
$$\begin{gathered} \lambda =\frac{|A/(n-k){|}^{-(n-k)/2}}{{\prod }_{t=1}^k|A_t/(n_t-1){|}^{-(n_t-1)/2}}, \\ \xi =-2\ln \lambda =(n-k)\ln \left|\frac{A}{n-k}\right|-\sum _{t=1}^k(n_t-1)\ln \left|\frac{A_t}{n_t-1}\right|\to {\chi }^2\left(\frac{1}{2}p(p+1)(k-1)\right). \end{gathered}$$

回顾总结

1. 假设检验${\Sigma }_0=I_p$，有
   $$\xi =\mathrm{t}\mathrm{r}(A)-n\ln |A|+np(\ln n-1)\stackrel{H_0}{\to }{\chi }^2\left(\frac{p(p+1)}{2}\right).$$

2. 假设检验$\Sigma ={\Sigma }_0$，有
   $$\xi =\mathrm{t}\mathrm{r}(A{\Sigma }_0^{-1})-n\ln |A{\Sigma }_0^{-1}|+np(\ln n-1)\stackrel{H_0}{\to }{\chi }^2\left(\frac{p(p+1)}{2}\right).$$

3. 假设检验$\Sigma ={\sigma }^2{I}_p$，有
   $$\xi =np\ln \left(\frac{\mathrm{t}\mathrm{r}(A)}{p}\right)-n\ln |A|\stackrel{H_0}{\to }{\chi }^2\left(\frac{p(p+1)}{2}-1\right).$$

4. 假设检验$\Sigma ={\sigma }^2{\Sigma }_0$，有
   $$\xi =np\ln \left(\frac{\mathrm{t}\mathrm{r}(A{\Sigma }_0^{-1})}{p}\right)-n\ln |A{\Sigma }_0^{-1}|\stackrel{H_0}{\to }{\chi }^2\left(\frac{p(p+1)}{2}-1\right).$$

5. 多总体同协方差假设检验问题，检验统计量为
   $$\xi =(n-k)\ln \left|\frac{A}{n-k}\right|-\sum _{t=1}^k(n_t-1)\ln \left|\frac{A_t}{n_t-1}\right|\stackrel{H_0}{\to }{\chi }^2\left(\frac{p(p+1)(k-1)}{2}\right).$$