多元正态分布的参数估计

引言

 在实际应用中，多元正态分布中均值向量，和协差阵。通常是未知的，需由样本来估计，而参数的估计方法很多，这里用最常见的最大似然估计法给出其估计量，并借助一元统计中学过的估计量性质指出这里给出的估计量也满足通常要求的性质。

多元样本的概念及表示法

 多元分析研究的总体是多元总体，从多元总体中随机抽取$n$个个体$X_{(1)},X_{(2)},\cdots ,X_{(n)}$，若$X_{(1)},X_{(2)},\cdots ,X_{(n)}$相互独立且与总体同分布，则称$X_{(1)},X_{(2)},\cdots ,X_{(n)}$为该总体的一个多元随机样本，简称为简单样本。每个$X_{(n)}=(X_{a1},X_{a2},\cdots ,X_{ap}{)}^{\top }(a=1,2,\cdots ,n)$称为一个样品，其中，$X_{aj}$为第$a$个样品对第$j$个指标的观测值， 显然每个样品都是$p$维向量，将$n$个样品对$p$项指标进行观测，将全部观测结果用一个$n\times p$阶矩阵$X$表示：$$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1p}\\ X_{21}& X_{22}& \cdots & X_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ X_{n1}& X_{n2}& \cdots & X_{np}\end{array}\right]=\left[\begin{array}{c}{X}_{(1)}^{\top }\\ X_{(2)}^{\top }\\ ⋮\\ X_{(n)}^{\top }\end{array}\right]$$

多元样本的数字特征

定义1： 设$X_{(1)},\cdots ,X_{(n)}$为来自$p$元总体的样本，其中$X_{(a)}=(X_{a1},\cdots ,X_{ap}{)}^{\top },a=1,2,\cdots ,n,$
（1）样本均值向量定义为：$$\bar{X}\stackrel{\Delta }{=}\frac{1}{n}\sum _{a=1}{X}_{(a)}=({\bar{X}}_1,{\bar{X}}_2,\cdots ,{\bar{X}}_p{)}^{\top }$$$$\begin{array}{rl}\because \frac{1}{n}\sum _{a=1}^n{X}_{(a)}& =\frac{1}{n}\left[\left[\begin{array}{c}{X}_{11}\\ X_{12}\\ ⋮\\ X_{1p}\end{array}\right]+\left[\begin{array}{c}{X}_{21}\\ X_{22}\\ ⋮\\ X_{2p}\end{array}\right]+\cdots +\left[\begin{array}{c}{X}_{n1}\\ X_{n2}\\ ⋮\\ X_{np}\end{array}\right]\right]\\ & =\frac{1}{n}\left[\begin{array}{c}{X}_{11}+X_{21}+\cdots +X_{n1}\\ X_{12}+X_{22}+\cdots +X_{n2}\\ ⋮\\ X_{1p}+X_{2p}+\cdots +X_{np}\end{array}\right]\\ & =\left[\begin{array}{c}{\bar{X}}_1\\ {\bar{X}}_2\\ ⋮\\ {\bar{X}}_p\end{array}\right]\end{array}$$
（2）样本离差阵定义为：$$S_{p\times p}\stackrel{\Delta }{=}\sum _{a=1}^n(X_{(a)}-\bar{X})(X_{(a)}-\bar{X}{)}^{\top }=(S_{ij}{)}_{p\times p}$$$$\begin{array}{rl}\because & \sum _{a=1}(X_{(a)}-\bar{X})(X_{(a)}-\bar{X}{)}^{\top }\\ & =\sum _{a=1}^n\left[\left[\begin{array}{c}{X}_{a1}-{\bar{X}}_1\\ X_{a2}-{\bar{X}}_2\\ ⋮\\ X_{ap}-{\bar{X}}_p\end{array}\right](X_{a1}-{\bar{X}}_1,X_{a2}-{\bar{X}}_2,\cdots ,X_{ap}-\bar{X})\right]\\ & =\sum \left[\begin{array}{cccc}(X_{a1}-{\bar{X}}_1{)}^2& (X_{a1}-{\bar{X}}_1)(X_{a2}-{\bar{X}}_2)& \cdots & (X_{a1}-{\bar{X}}_1)(X_{ap}-{\bar{X}}_p)\\ (X_{a2}-{\bar{X}}_2)(X_{a1}-{\bar{X}}_1)& (X_{a2}-{\bar{X}}_2{)}^2& \cdots & (X_{a2}-{\bar{X}}_2)(X_{ap}-{\bar{X}}_p)\\ ⋮& ⋮& & ⋮\\ (X_{ap}-{\bar{X}}_p)(X_{a1}-{\bar{X}}_1)& (X_{ap}-{\bar{X}}_p)(X_{a2}-{\bar{X}}_2)& \cdots & (X_{ap}-{\bar{X}}_p{)}^2\end{array}\right]\\ & =\left[\begin{array}{cccc}{S}_{11}& S_{12}& \cdots & S_{1p}\\ S_{21}& S_{22}& \cdots & S_{2p}\\ ⋮& ⋮& & ⋮\\ S_{p1}& S_{p2}& \cdots & S_{pp}\end{array}\right]=(S_{ij}{)}_{p\times p}\end{array}$$
（3）样本协差阵定义为：$$V_{p\times p}\stackrel{\Delta }{=}\frac{1}{n}S=\frac{1}{n}\sum _{a=1}^n(X_{(a)}-\bar{X})(X_{(a)}-\bar{X}{)}^{\top }=(v_{ij}{)}_{p\times p}$$$$\because \begin{array}{rl}\frac{1}{n}S& =\frac{1}{n}\sum _{a=1}^n(X_{(a)}-\bar{X})(X_{(a)}-\bar{X}{)}^{\top }\\ & ={\left[\frac{1}{n}\sum _{a=1}^n(X_{ai}-{\bar{X}}_i)(X_{aj}-X_j)\right]}_{p\times p}\\ & =[v_{ij}{]}_{p\times p}\end{array}$$
（4）样本相关阵定义为：$R_{p\times p}\stackrel{\Delta }{=}(r_{ij}{)}_{p\times p}$，其中，$r_{ij}=\frac{v_{ij}}{\sqrt{v_{ii}}\sqrt{v_{jj}}}=\frac{s_{ij}}{\sqrt{s_{ii}}\sqrt{s_{jj}}}$样本均值向量和离差阵也可用$X$直接表示如下：$${\bar{X}}_{p\times 1}=\frac{1}{n}{X}^{\top }{1}_n$$其中，$$1_n=(1,1,\cdots ,1{)}^{\top }$$$$\begin{array}{rl}\bar{X}& =\frac{1}{n}{X}^{\top }{1}_n\\ & =\frac{1}{n}\left[\begin{array}{cccc}{X}_{11}& X_{21}& \cdots & X_{n1}\\ X_{12}& X_{22}& \cdots & X_{n2}\\ ⋮& ⋮& & ⋮\\ X_{1p}& X_{2p}& \cdots & X_{np}\end{array}\right]\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right]\\ & =\frac{1}{n}\left[\begin{array}{c}{X}_{11}+X_{21}+\cdots +X_{n1}\\ X_{12}+X_{22}+\cdots +X_{n2}\\ ⋮\\ X_{1p}+X_{2p}+\cdots +X_{np}\end{array}\right]=\left[\begin{array}{c}{\bar{X}}_1\\ {\bar{X}}_2\\ ⋮\\ {\bar{X}}_p\end{array}\right]\end{array}$$$$S=X^{\top }(I-\frac{1}{n}{1}_n{1}_n^{\top })X$$其中，$$I_n=\left[\begin{array}{ccc}1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & 1\end{array}\right]$$$$\begin{array}{rl}\because S& =\sum _{a=1}^n(X_{(a)}-\bar{X})(X_{(a)}-\bar{X}{)}^{\top }\\ & =X^{\top }X-n\bar{X}{\bar{X}}^{\top }\\ & =X^{\top }X-\frac{1}{n}{X}^{\top }{1}_n{1}_n^{\top }X\\ & =X^{\top }(I_n-\frac{1}{n}{1}_n{1}_n^{\top })X\end{array}$$

$\mu$和$\Sigma$的最大似然估计及基本性质

 通过样本来估计总体的参数叫做参数估计，参数估计的原则和方法是很多的，这里用常见的且具有很多优良性质的最大似然法给出$\mu$和$\Sigma$的估计量。
 设$X_{(1)},X_{(2)},\cdots ,X_{(n)}$是来自正态总体$N_p(\mu ,\Sigma )$容量为$n$的样本，每个样品：$X_{(}a)=(X_{a1},X_{a2},\cdots ,X_{ap}{)}^{\top }$，$a=1,\cdots ,n$，样本阵$X$为：$$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1p}\\ X_{21}& X_{22}& \cdots & X_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ X_{n1}& X_{n2}& \cdots & X_{np}\end{array}\right]$$则用最大似然估计求出$\mu$和$\Sigma$的估计量分别为：$$\hat{\mu }=\bar{X},\hat{\Sigma }=\frac{1}{n}S$$$\mu$和$\Sigma$的估计量有如下基本性质：
（1）$E(\bar{X})=\mu$，即$\bar{X}$是$\mu$的无偏估计；$E(\frac{1}{n}S)=\frac{n-1}{n}\Sigma$，即$\frac{1}{n}S$不是$\Sigma$的无偏估计；而$E(\frac{1}{n-1}S)=\Sigma$，即$\frac{1}{n-1}S$是$\Sigma$的无偏估计；
（2）$\bar{X},\frac{1}{n-1}S$分别是$\mu ,\Sigma$的有效估计。
（3）$\bar{X},\frac{1}{n}S$分别是$\mu ,\Sigma$的一致估计（相合估计）。

定理1： 设$\bar{X}$和$S$分别正态总体$N_p(\mu ,\Sigma )$的样本均值向量和离差阵，则
（1）$\bar{X}\sim N_p(\mu ,\frac{1}{n}\Sigma )$；
（2）离差阵$S$可以写为：$$S=\sum _{a=1}^{n-1}{Z}_a{Z}_a^{\top },$$其中$Z_1,\cdots ,Z_{n-1}$独立同分布与$N_p(0,\Sigma )$；
（3）$\bar{X}$与$S$相互独立；
（4）$S$为正定阵的充要条件是$n>p$。