多元统计分析-期末复习[一]

多元随机变量

(略)

多元正态分布

定义1：

  $X=AU+\mu \sim N_p(\mu ,A{A}^{\prime })$
　　其中 $U=(U{)}_{p\times 1}$，$U_i\sim N(0,1）$

性质：

1. 特征函数
2. 若$X\sim N_p(\mu ,\Sigma )$，令$Z=BX+d$，则$Z\sim N_S(B\mu +d,B\Sigma B^{\prime })$，即正态分布的线性组合（包括边缘分布）仍是正态分布
3. $\mu ,\Sigma$分别是正态分布的期望与方差
4. $X\sim N_p(\mu ,\Sigma )\leftrightarrow {\xi }_{1\times 1}=a_{1\times p}Xp\times 1\sim N_1$

定义2：

  $p$维随机向量$X$的任意线性组合均服从一元正态分布，则称$X$为$p$维正态随机向量

性质：

5. 设$X\sim N_p(\mu ,\Sigma )$且$\Sigma$正定，则$X$的联合密度函数
   $f(X)=\frac{1}{(2\pi {)}^{\frac{p}{2}}{|\Sigma |}^{\frac{1}{2}}}exp[-\frac{1}{2}(X-\mu {)}^{\prime }{\Sigma }^{-1}(X-\mu )]$
   证明：
   $$\begin{gathered} \because X=AU+d \\ {f}_U(U)=\frac{1}{(2\pi {)}^{\frac{p}{2}}}exp[-\frac{1}{2}{U}^{\prime }U] \\ {f}_X(X)=f_{U}J(U\to X) \\ 又\because J(U\to X)=\frac{1}{J(X\to U)}={\left|\Sigma \right|}^{-\frac{1}{2}} \\ \therefore 得证 \end{gathered}$$

定义3：

  若$X$的联合密度函数如定义2所示，则$X$是$p$维正态随机向量

二元正态：

  设$X=\left[\begin{array}{c}{X}_1\\ X_2\end{array}\right]$，且$X\sim N_2(\mu ,\Sigma )$

$\rho$的统计意义：

  记$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\Sigma =\left[\begin{array}{cc}{\sigma }_{11}& {\sigma }_{12}\\ {\sigma }_{21}& {\sigma }_{22}\end{array}\right]=\left[\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right]$
　　则有$X_1\sim N({\mu }_1,{\sigma }_1^2),X_2\sim N({\mu }_2,{\sigma }_2^2)$
　　且$\rho (X_1,X_2)=\frac{Cov(X_1,X_2)}{\sqrt{Var(X_1)}\sqrt{Var(X_2)}}=\rho$
　　$\therefore \rho$就是相关系数

1. $\rho =0$时，显然独立
2. $|\rho |=1$时$|\Sigma |=0$，即$\Sigma x=0$有非零解，可推出$X_1{X}_2$线性相关

矩阵正态分布：

定义：

  设$X_{(i)}=\left[\begin{array}{c}{X}_{i1}\\ X_{i2}\\ ...\\ X_{ip}\end{array}\right]$为来自$N_p(\mu ,\Sigma )$的随机样本，观测$n$次，得到$X_{n\times p}$,将$X$按行拉直得到$Vec(X^{\prime })$，
　　若$Vec(X^{\prime })\sim N_{np}(1_n⨂\mu ,I_n⨂\Sigma )$,则称$X$服从矩阵正态分布，一般记作$X\sim N_{n\times p}(M,I_n⨂\Sigma )$，
　　其中$Vec(M^{\prime })=1_n⨂\mu$，即$M=1_n{\mu }^{\prime }$
　　$⨂$为克罗内克积

矩阵正态分布的性质：

  设$X\sim N_{n\times p}(M,I_n⨂\Sigma )$，$Ａ$为$k\times n$常数矩阵，$B$为$q\times p$常数矩阵，$D$为$k\times q$常数矩阵，令$Z=AX{B}^{\prime }+D$，则：
　　$Z\sim N_{k\times q}(AM{B}^{\prime }+D,(A{A}^{\prime })⨂(B\Sigma B^{\prime }))$
　　也就是说，对多维正态样本进行线性组合，得到的新样本服从矩阵正态分布，即新的总体仍是正态总体。

条件分布与独立性：

$X_p$的分块：

  设$X_p=\left[\begin{array}{c}{X}^{(1)}\\ X^{(2)}\end{array}\right]\sim N_p(\left[\begin{array}{c}{\mu }^{(1)}\\ {\mu }^{(2)}\end{array}\right],\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right])$

分块的独立性：

  相互独立$\leftrightarrow {\Sigma }_{12}={\Sigma }_{21}=O$（类似二元正态）
推论：对于划分为$k$个分量的$p$维正态向量而言，各分量相互独立$\leftrightarrow \Sigma$是对角分块阵

条件分布：

定义：

  $F(X^{(1)}|X^{(2)})=\frac{f(X^{(1)},X^{(2)})}{f(X^{(2)})}$

协差阵的逆：

  ${\Sigma }^{-1}=\left[\begin{array}{cc}{\Sigma }_{11\cdot 2}^{-1}& -{\Sigma }_{11\cdot 2}^{-1}{\Sigma }_{12}^{}{\Sigma }_{22}^{-1}\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}^{}{\Sigma }_{11\cdot 2}^{-1}& {\Sigma }_{22}^{-1}+{\Sigma }_{22}^{-1}{\Sigma }_{21}^{}{\Sigma }_{11\cdot 2}^{-1}{\Sigma }_{12}^{}{\Sigma }_{-1}^{22}\end{array}\right]$
　　其中，${\Sigma }_{11\cdot 2}^{}={\Sigma }_{11}^{}-{\Sigma }_{12}^{}{\Sigma }_{22}^{-1}{\Sigma }_{21}^{}$
　　$\therefore$设$X=\left[\begin{array}{c}{X}_r^{(1)}\\ X_{p-r}^{(2)}\end{array}\right]\sim N_p(\mu ,\Sigma )$
　　则$(X^{(1)}|X^{(2)})\sim N_r({\mu }_{1\cdot 2},{\Sigma }_{11\cdot 2})$
　　其中${\mu }_{1\cdot 2},={\mu }^{(1)}+{\Sigma }_{12}{\Sigma }_{22}^{-1}(X^{(2)}-{\mu }^{(2)})$
　　　　${\Sigma }_{11\cdot 2}^{}={\Sigma }_{11}^{}-{\Sigma }_{12}^{}{\Sigma }_{22}^{-1}{\Sigma }_{21}^{}$

推论：

1. $X^{(1)}$与$X^{(1)}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{X}^{(2)}$相互独立，称$B={\Sigma }_{12}{\Sigma }_{22}^{-1}$为回归系数
2. $X^{(2)}$与$X^{(1)}-{\Sigma }_{21}{\Sigma }_{11}^{-1}{X}^{(1)}$相互独立
   证明：直接通过分块矩阵的性质构造两者的协方差阵
3. 设$Z=\left[\begin{array}{c}{X}_p\\ Y_1\end{array}\right]\sim N_{p+1}(\left[\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right],\left[\begin{array}{cc}{\Sigma }_{xx}& {\Sigma }_{xy}\\ {\Sigma }_{yz}& {\Sigma }_{yy}\end{array}\right])$，记$g(X)=E(Y|X)$，则对任意函数$\phi (\cdot )$有$E[(Y-g(X){)}^2]\le E[(Y-\phi (X){)}^2]$，即，若以均方差最小为准则，条件期望是对$Y$的最佳预测。

参数估计：

随机样本阵

  $X=\left[\begin{array}{ccc}{X}_{11}& ...& X_{1p}\\ ...& & ...\\ X_{n1}& ...& X_{np}\end{array}\right]={\left[\begin{array}{ccc}{X}_{(1)}& ...& X_{(n)}\end{array}\right]}^{\prime }$
　　其中$X_{(i)}$为简单随机样本，即每一行表示一个样本

样本统计量：

1. 均值：$\overline{X}=\frac{1}{n}\sum _1^n{X}_{(i)}={\left[\begin{array}{c}{\overline{X}}_1...{\overline{X}}_p\end{array}\right]}^{\prime }=\frac{1}{n}{X}^{\prime }{1}_n$
2. 离差：$A=\sum _{\alpha =1}^n(X_{(\alpha )}-\overline{X})(X_{(\alpha )}-\overline{X}{)}^{\prime }=X^{\prime }X-n\overline{X}{\overline{X}}^{\prime }$，
   令$S=(a_{ij}{)}_{p\times p}$,其中$a_{ij}=\sum _{\alpha =1}^n(X_{\alpha i}-{\overline{X}}_i)(X_{\alpha j}-{\overline{X}}_j)$，${\overline{X}}_i$为第$i$个变量的均值
3. 协方差阵：$S=\frac{1}{n-1}A=(s_{ij}{)}_{p\times p}$，$S^{\ast }=\frac{1}{n}A$
4. 样本相关阵:$R=(r_{ij}{)}_{p\times p},r_{ij}=\frac{s_{ij}}{\sqrt{s_{ii}}\sqrt{s_{jj}}}=\frac{a_{ij}}{\sqrt{a_{ii}}\sqrt{a_{jj}}}$

极大似然估计：

极大似然函数：

  $L(\mu ,\Sigma )=\prod _1^n\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}exp[-\frac{1}{2}(X_{(i)}-\mu {)}^{\prime }{\Sigma }^{-1}(X_{(i)}-\mu )]$
　　可化为$\frac{1}{(2\pi {)}^{\frac{np}{2}}|\Sigma {|}^{\frac{n}{2}}}exp[tr(-\frac{1}{2}{\Sigma }^{-1}\sum _1^n[(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }])]$
　　其中$$\begin{array}{rl}& \sum _1^n(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }\\ =& \sum _1^n[(X_{(i)}-\overline{X}+\overline{X}-\mu )(X_{(i)}-\overline{X}+\overline{X}-\mu {)}^{\prime }]\\ =& \sum _1^n(X_{(i)}-\overline{X})(X_{(i)}-\overline{X}{)}^{\prime }+n(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }\\ =& A+n(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }\\ \because & \sum _{\alpha =1}^n(X_{\alpha i}-{\overline{X}}_{\alpha })({\overline{X}}_{\alpha }-{\mu }_{\alpha })=0\\ \therefore & (X_i-\overline{X}{)}^{\prime }(\overline{X}-\mu )=0\\ \therefore & (X_i-\overline{X})(\overline{X}-\mu {)}^{\prime }=O\end{array}$$
　　再运用迹的四则运算律可得上式

极大似然对数函数：

$$\begin{array}{rl}lnL(\mu ,\Sigma )& =-ln[(2\pi {)}^{\frac{np}{2}}|\Sigma {|}^{\frac{n}{2}}]-\frac{1}{2}tr{\Sigma }^{-1}\sum _1^n[(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }])\\ & =-ln[(2\pi {)}^{\frac{np}{2}}|\Sigma {|}^{\frac{n}{2}}]-\frac{1}{2}tr{\Sigma }^{-1}[A+n(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }]\end{array}$$

求解$\mu$的极大似然估计：

  对$\mu$而言，$lnL(\mu ,\Sigma )=C-\frac{1}{2}tr{\Sigma }^{-1}[A+n(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }]$
　　当$\frac{n}{2}tr[{\Sigma }^{-1}(X_{(i)}-\mu )(X_{(i)}-\mu {)}^{\prime }]$
　　即$\frac{n}{2}[(X_{(i)}-\mu {)}^{\prime }{\Sigma }^{-1}(X_{(i)}-\mu )]$最小时，似然函数取最大
　　由于$\Sigma$正定，所以最小值为$0$，此时$\mu =\overline{X}$

求解$\Sigma$的极大似然估计：

  引理:$B$为$p$阶正定阵，则$trB-lnB\ge p$，当且仅当$B=I_p$时等号成立

  对$\Sigma$来说，$\frac{n}{2}ln|\Sigma |+\frac{1}{2}tr({\Sigma }^{-1}A)$最小时，似然函数最大。
$$\begin{array}{rl}& \frac{n}{2}ln|\Sigma |+\frac{1}{2}tr({\Sigma }^{-1}A)\\ =& \frac{n}{2}[ln|\Sigma |+tr({\Sigma }^{-1}\frac{A}{n})]\\ =& \frac{n}{2}[-ln|{\Sigma }^{-1}\frac{A}{n}|+ln|\frac{A}{n}|+tr({\Sigma }^{-1}\frac{A}{n})]\\ =& \frac{n}{2}[ln|\frac{A}{n}|+tr({\Sigma }^{-1}\frac{A}{n})-ln|{\Sigma }^{-1}\frac{A}{n}|]\\ \ge & \frac{n}{2}[ln|\frac{A}{n}|+p]\end{array}$$
　　此时${\Sigma }^{-1}\frac{A}{n}=I_p$，即$\Sigma =\frac{A}{n}$
　　$\therefore (\hat{\mu },\hat{\Sigma })=(\overline{X},\frac{A}{n})$

极大似然估计的性质：

重要定理：

  设$\overline{X}$和$A$分别是$p$元正态总体的样本均值和样本离差阵，则有：

1. $\overline{X}\sim N_p(\mu ,\frac{1}{n}\Sigma )$
2. $A=\sum _1^{n-1}{Z}_i{Z}_i^{\prime }$，其中$Z_i$独立同$N_p(0,\Sigma )$分布
3. $\overline{X}$和$A$相互独立
4. P { A > 0 } = 1 ↔ n > p P\{A>0\}=1\leftrightarrow n>p P{A>0}=1↔n>p

无偏性：

  可以证明$\overline{X}$的各分量期望无偏，根据定理(2)，可将$E(A)$化为$D(Z_i)$的求和

有效性：

  可以证明，$\overline{X}，A$是“最小方差”估计

相合性：

  由强大数定律可证，当$n\to \infty$时，$\overline{X}，A$是强相合估计

参数函数的极大似然估计：

定义：

  设参数向量$\theta$的变化范围是$\Theta \in {\Re }^k$，$L(\theta )$是似然函数，设$\omega =g(\theta )$是$\Theta$到${\Theta }^{\ast }$上的Borel可测映射，其中${\Theta }^{\ast }\subseteq {\Re }^k$，则对任意$\omega \in {\Theta }^{\ast }$，令
　　　　$$M(\omega )=\underset{\theta :G(\theta )=\omega }{\sup }L(\theta )$$
　　则称$M(\omega )$为函数$g(\theta )$诱导出的似然函数
　　若$\hat{\omega }$满足$M(\hat{\omega })=\underset{\omega }{\sup }M(\omega )$，则称$\hat{\omega }$是$g(\theta )$的极大似然估计
　　由此得到定理：若$\hat{\theta }$是$\theta$的极大似然估计，则$\hat{\omega }=g(\hat{\theta })$是$g(\theta )$的极大似然估计