【多元统计分析】04.多元正态分布的参数估计

四、多元正态分布的参数估计

1.多元正态分布的估计量

对于多元正态分布$N_p(\mu ,\Sigma )$，其参数只有两个——均值向量$\mu$与自协方差矩阵$\Sigma$，要对其进行估计，就要从总体中抽取简单随机样本。记抽取样本的容量为$n$，每一个样本分别是$X_{(\alpha )}=(x_{\alpha 1},\cdots ,x_{\alpha p})$，将样本纵向排列，得到样本数据阵
$$X=\left[\begin{array}{ccc}{x}_{11}& \cdots & x_{1p}\\ ⋮& & ⋮\\ x_{n1}& \cdots & x_{np}\end{array}\right].$$
从样本数据阵出发，可以获得以下统计量：

1. 样本均值$\bar{X}$，这是对每个维度求均值，得到的一个$p$维向量
   $$\bar{X}=\frac{1}{n}\sum _{\alpha =1}^n{X}_{(\alpha )}=({\bar{x}}_1,\cdots ,{\bar{x}}_p{)}^{\prime }=\frac{1}{n}{X}^{\prime }{1}_n.$$
   这里${\bar{x}}_i$是对第$i$个分量的平均，即
   $${\bar{x}}_i=\frac{1}{n}\sum _{\alpha =1}^n{x}_{\alpha i}.$$

2. 样本离差阵$A$，可以类比一维随机变量中的${\sum }_{i=1}^n(x_i-\bar{x}{)}^2$，即
   $$A=\sum _{\alpha =1}^n(X_{(\alpha )}-\bar{X})(X_{(\alpha )}-\bar{X}{)}^{\prime }$$
   这样，$A$是一个$p\times p$对角阵，它的第$(i,j)$元，其实就是
   $$a_{ij}=\sum _{\alpha =1}^n(x_{\alpha i}-{\bar{x}}_i)(x_{\alpha j}-{\bar{x}}_j).$$
   由此，还可以得到
   $$A=X^{\prime }X-n\bar{X}{\bar{X}}^{\prime }=X^{\prime }\left[I_n-\frac{1}{n}{1}_n{1}_n^{\prime }\right]X.$$
   这个式子用来计算离差阵更为方便。

3. 样本协方差阵$S$，可以类比一维随机变量中的样本方差，即
   $$S=\frac{1}{n-1}A,$$
   其$(i,i)$元是变量$X_i$的样本方差，即
   $$s_{ii}=\frac{1}{n-1}\sum _{\alpha =1}^n(x_{\alpha i}-{\bar{x}}_i{)}^2.$$
   类似一维中样本方差的定义，也有
   $$S^{\ast }=\frac{1}{n}\sum _{\alpha =1}^n(x_{\alpha i}-{\bar{x}}_i{)}^2.$$

4. 样本相关阵$R$，自然是由样本相关系数$r_{ij}$构成的$p\times p$矩阵，即
   $$R=\frac{s_{ij}}{\sqrt{s_{ii}{s}_{jj}}}=\frac{a_{ij}}{\sqrt{a_{ii}{a}_{jj}}}.$$

有了这些统计量，我们就可以对总体的参数$\mu ,\Sigma$进行估计，使用的方法是最大似然估计。

2.最大似然估计

最大似然估计指的是，以使获得样本的出现几率最大的那组参数估计量，作为参数的点估计量。与一元情形类似，可以建立似然函数的概念。使用拉直运算，对$\mathrm{V}\mathrm{e}\mathrm{c}(X^{\prime })$的密度函数建立似然函数，称为样本$X_{(i)}$的似然函数（对数似然函数）。
$$\begin{array}{rl}L(\mu ,\Sigma )=& \prod _{\alpha =1}^n\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}\exp \left[-\frac{1}{2}(x_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(x_{(\alpha )}-\mu )\right]\\ =& \frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left[-\frac{1}{2}\sum _{\alpha =1}^n(x_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(x_{(\alpha )}-\mu )\right]\\ l(\mu ,\Sigma )=& -\frac{np}{2}\ln (2\pi )+\frac{n}{2}\ln |{\Sigma }^{-1}|-\frac{1}{2}\sum _{\alpha =1}^n(x_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(x_{(\alpha )}-\mu )\end{array}$$

要求其极大似然估计，需要对矩阵$\Sigma$，向量$\mu$求导（参见矩阵微商），得
$$\begin{gathered} \frac{\mathrm{d}l(\mu ,\Sigma )}{\mathrm{d}\mu }=\frac{1}{2}\sum _{\alpha =1}^n({\Sigma }^{-1}+({\Sigma }^{-1}{)}^{\prime })(x_{(\alpha )}-\mu )={\Sigma }^{-1}(\sum _{\alpha =1}^n(x_{(\alpha )}-\mu ))=n{\Sigma }^{-1}(\bar{X}-\mu ). \\ \frac{\mathrm{d}l(\mu ,\Sigma )}{\mathrm{d}{\Sigma }^{-1}}=-\frac{n}{2}\Sigma -\frac{1}{2}\sum _{\alpha =1}^n(x_{(\alpha )}-\mu )(x_{(\alpha )}-\mu {)}^{\prime }=-\frac{1}{2}(n\Sigma -A). \end{gathered}$$
所以
$$\hat{\mu }=\bar{X},\hat{\Sigma }=\frac{A}{n}.$$

用到的矩阵微商结论：对于对称阵$A$与列向量$x$，有
$$\begin{gathered} \frac{\mathrm{d}\ln |A|}{\mathrm{d}A}=A^{-1}, \\ \frac{\mathrm{d}{x}^{\prime }Ax}{\mathrm{d}A}=x{x}^{\prime }, \\ \frac{\mathrm{d}{x}^{\prime }Ax}{\mathrm{d}x}=(A+A^{\prime })x. \end{gathered}$$

如果在已知$\mu ={\mu }_0$的情况下，依照以上过程，就可以得到
$$\hat{\Sigma }=\frac{1}{n}\sum _{\alpha =1}^n(x_{(\alpha )}-{\mu }_0)(x_{(\alpha )}-{\mu }_0{)}^{\prime }.$$
所以，我们要找到$(\mu ,\Sigma )$的估计，就需要计算$(\bar{X},A)$，接下来对它们进行性质讨论。

3.最大似然估计的性质

$(\bar{X},A)$的分布具有类似一元统计中$\bar{X}$和$S^2$的性质。

定理：设$\bar{X}$和$A$分别是$p$元正态总体$N_p(\mu ,\Sigma )$的样本均值向量和样本离差阵，则有

1. $\bar{X}\sim N_p(\mu ,\frac{1}{n}\Sigma )$；
2. $A\stackrel{\mathrm{d}}{=}\sum _{t=1}^n{Z}_t{Z}_t^{\prime }$，其中$Z_1,\cdots ,Z_{n-1}$独立同$N_p(0,\Sigma )$分布；
3. $\bar{X}$和$A$相互独立；
4. P { A > 0 } = 1 ⇔ n > p {\rm P}\{A>0\}=1\Leftrightarrow n>p P{A>0}=1⇔n>p。

前三个性质的证明方式也与一元情况类似，设$X$为从多元正态总体中抽取的$n\times p$样本数据阵，$\Gamma$是$n$阶正交阵，形式如同
$$\Gamma =\left[\begin{array}{ccc}{r}_{11}& \cdots & r_{1n}\\ ⋮& & ⋮\\ r_{(n-1)1}& \cdots & r_{(n-1)n}\\ 1/\sqrt{n}& \cdots & 1/\sqrt{n}\end{array}\right]=(r_{ij}{)}_{n\times n}.$$
令
$$Z=\left[\begin{array}{c}{Z}_1^{\prime }\\ ⋮\\ Z_n^{\prime }\end{array}\right]=\Gamma \left[\begin{array}{c}{X}_{(1)}^{\prime }\\ ⋮\\ X_{(n)}^{\prime }\end{array}\right]=\Gamma X.$$
即$Z_i^{\prime }=(r_{i1},\cdots r_{in})X$，
$$Z_i=(X_{(1)},\cdots ,X_{(n)})\left[\begin{array}{c}{r}_{i1}\\ ⋮\\ r_{in}\end{array}\right],i=1,\cdots ,n.$$
因为$Z_i$是$X_{(1)},\cdots ,X_{(n)}$的线性组合，所以$Z_i$也是$p$维正态向量，且
$$\begin{gathered} \mathrm{E}{Z}_i=\sum _{\alpha =1}^n{r}_{i\alpha }\mathrm{E}(X_{(\alpha )})=\{\begin{array}{lc}\sqrt{n}\sum _{\alpha =1}^n{r}_{i\alpha }{r}_{n\alpha }\mu =0,& t\ne n;\\ \sum _{\alpha =1}^n\frac{1}{\sqrt{n}}\mu =\sqrt{n}\mu ,& t=n.\end{array} \\ \mathrm{C}\mathrm{o}\mathrm{v}(Z_{\alpha },Z_{\beta })=\sum _{i=1}^n{r}_{\alpha i}{r}_{\beta i}\Sigma =\{\begin{array}{lc}O,& \alpha \ne \beta ;\\ \Sigma ,& \alpha =\beta .\end{array} \end{gathered}$$
而显然$Z_n=\sqrt{n}\bar{X}$，且$Z_n\sim N_p(\sqrt{n}\mu ,\Sigma )$，所以$\bar{X}\sim N_p(\mu ,\Sigma /n)$。而
$$\begin{gathered} \sum _{\alpha =1}^n{Z}_{\alpha }{Z}_{\alpha }^{\prime }=(Z_1,\cdots ,Z_n)\left[\begin{array}{c}{Z}_1\\ ⋮\\ Z_n\end{array}\right]=Z^{\prime }Z=X^{\prime }X, \\ \sum _{\alpha =1}^{n-1}{Z}_{\alpha }{Z}_{\alpha }^{\prime }=X^{\prime }X-Z_n{Z}_n^{\prime }=X^{\prime }X-n\bar{X}{\bar{X}}^{\prime }=A. \end{gathered}$$
可以注意到，$A$是$Z_1,\cdots ,Z_{n-1}$的函数，$\bar{X}$是$Z_n$的函数，又因为$Z_1,\cdots ,Z_n$互相独立，所以$\bar{X}$和$A$相互独立。至于第四个性质，只需要记住，样本够多就能保证$A$的非负定性即可。

除此以外，$\bar{X},A$作为$\mu ,\Sigma$的最大似然估计原型，还具有以下的性质：

1. 无偏性：$\bar{X}$是$\mu$的无偏估计，$A/n$不是$\Sigma$的无偏估计，但$S=A/(n-1)$是$\Sigma$的无偏估计。
2. 有效性：$\bar{X}$和$S$是$\mu ,\Sigma$的一致最小方差无偏估计，即$\bar{X},S$是$\mu ,\Sigma$的有效估计量。
3. 相合性：当$n\to \infty$时，$\bar{X},\hat{\Sigma }=A/n$是$\mu ,\Sigma$的强相合估计，即随着抽样数的增加，它们总会收敛于参数。
4. 充分性：$\bar{X},\hat{\Sigma }$是$\mu ,\Sigma$的充分统计量。

最大似然估计满足对参数函数依然适用的性质，即对于$\mu ,\Sigma$的最大似然估计$\hat{\mu },\hat{\Sigma }$，参数的函数$\phi (\mu ,\Sigma )$的最大似然估计还是$\phi (\hat{\mu },\hat{\Sigma })$。

回顾总结

1. 参数估计中，最重要的两个统计量是样本均值$\bar{X}$与样本离差阵$A$，它们与样本数据阵$X$的关系分别是
   $$\begin{gathered} \bar{X}=\frac{1}{n}{X}^{\prime }{1}_n, \\ A=X^{\prime }X-n\bar{X}{\bar{X}}^{\prime }=X^{\prime }\left[I_n-\frac{1}{n}{1}_n{1}_n^{\prime }\right]X. \end{gathered}$$
   还有相关的统计量如$S=A/(n-1),S^{\ast }=A/n$和样本相关阵$R,r_{ij}=a_{ij}/\sqrt{a_{ii}{a}_{jj}}$。

2. $N_p(\mu ,\Sigma )$的参数$\mu ,\Sigma$的最大似然估计分别是$\hat{\mu }=\bar{X},\hat{\Sigma }=A/n$，一般可以由$\bar{X},A$估计出$\mu ,\Sigma$估计出。

3. 关于$\bar{X},A$的性质，有$\bar{X},A$相互独立，且
   $$\begin{gathered} \bar{X}\sim N_p(\mu ,\Sigma /n), \\ A\stackrel{\mathrm{d}}{=}\sum _{\alpha =1}^{n-1}{Z}_{\alpha }{Z}_{\alpha }^{\prime },Z_{\alpha }\stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}.}{\sim }{N}_p(0,\Sigma ). \end{gathered}$$

4. 在无偏性方面，$\bar{X}$是$\mu$的无偏估计，$S=A/(n-1)$是$\Sigma$的无偏估计。

5. 在有效性方面，$\bar{X},S$是$\mu ,\Sigma$的最小方差无偏估计，即有效估计。

6. 在相合性方面，$\bar{X},A/n$是$\mu ,\Sigma$的强相合估计。

7. 对于参数函数$\phi (\mu ,\Sigma )$，它的最大似然估计是$\phi (\bar{X},A/n)$。