【回归分析】02. 随机向量(2)

【回归分析】2. 随机向量(2)

2.4 正态随机向量的二次型

定理 2.4.1：正态随机向量的二次型的方差：

(1) 设 $X\sim N_n(\mu ,\Sigma )$ ，$A$ 为 $n\times n$ 的实对称矩阵，则
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=2\mathrm{t}\mathrm{r}(A\Sigma {)}^2+4{\mu }^{\prime }A\Sigma A\mu .$$
(2) 设 $X\sim N_n\left(\mu ,{\sigma }^2{I}_n\right)$ ，$A$ 为 $n\times n$ 的实对称矩阵，则
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=2{\sigma }^4\mathrm{t}\mathrm{r}\left(A^2\right)+4{\sigma }^2{\mu }^{\prime }{A}^2\mu .$$

(1) 设 $Y={\Sigma }^{-1/2}X$ ，则 $Y\sim N\left({\Sigma }^{-1/2}\mu ,I_n\right)$ ，所以 $Y$ 的各个分量相互独立，且有
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=\mathrm{V}\mathrm{a}\mathrm{r}\left(Y^{\prime }{\Sigma }^{1/2}A{\Sigma }^{1/2}Y\right).$$
把问题转化为求 $Y$ 的二次型的方差，注意到
$$m_3=\mathrm{E}{\left[Y_i-\mathrm{E}(Y_i)\right]}^3=0,m_4=\mathrm{E}{\left[Y_i-\mathrm{E}(Y_i)\right]}^4=3.$$
由定理 2.2.2 可知
$$\begin{array}{rl}\mathrm{V}\mathrm{a}\mathrm{r}\left(Y^{\prime }{\Sigma }^{1/2}A{\Sigma }^{1/2}Y\right)& =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\left({\Sigma }^{-1/2}\mu \right)}^{\prime }{\left({\Sigma }^{1/2}A{\Sigma }^{1/2}\right)}^2\left({\Sigma }^{-1/2}\mu \right)\\ & \\ & =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\mu }^{\prime }{\Sigma }^{-1/2}{\Sigma }^{1/2}A\Sigma A{\Sigma }^{1/2}{\Sigma }^{-1/2}\mu \\ & \\ & =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\mu }^{\prime }A\Sigma A\mu .\end{array}$$
(2) 把 $\Sigma ={\sigma }^2{I}_n$ 代入 (1) 中结果，即可得证。

设 $X\sim N_n(\mu ,I_n)$ ，称随机变量 $Y=X^{\prime }X$ 的分布为自由度为 $n$ ，非中心参数为 $\lambda ={\mu }^{\prime }\mu$ 的非中心 ${\chi }^2$ 分布，记为 $Y\sim {\chi }^2(n,\lambda )$ 。当 $\lambda =0$ 时，称 $Y$ 的分布为中心 ${\chi }^2$ 分布，记为 $Y\sim {\chi }^2(n)$ 。

定理 2.4.2：${\chi }^2$ 分布的性质：

(1) 可加性：设 $Y_i\sim {\chi }^2(n_i,{\lambda }_i),i=1,2,\cdots ,k$ 且相互独立，则
$$Y_1+Y_2+\cdots +Y_k\sim {\chi }^2(n,\lambda ),n=\sum _{i=1}^k{n}_i,\lambda =\sum _{i=1}^k{\lambda }_i.$$
(2) 数字特征：设 $Y\sim {\chi }^2(n,\lambda )$ ，则 $\mathrm{E}(Y)=n+\lambda ,\mathrm{V}\mathrm{a}\mathrm{r}(Y)=2n+4\lambda$ 。

(1) 非中心 ${\chi }^2$ 分布的特征函数为
$$\Phi (t)=(1-2it{)}^{-n/2}\exp \left\{\frac{it\lambda }{1-2it}\right\}.$$
设 $Y=Y_1+Y_2+\cdots +Y_k$ ，其特征函数为 $\Phi (t)$ ，设 $Y_i$ 的特征函数为 ${\Phi }_i(t)$ ，利用 $Y_i$ 的独立性可知
$$\begin{array}{rl}\Phi (t)& ={\Phi }_1(t){\Phi }_2(t)\cdots {\Phi }_k(t)\\ & \\ & =\prod _{i=1}^k(1-2it{)}^{-n_i/2}\exp \left\{\frac{it{\lambda }_i}{1-2it}\right\}\\ & \\ & =(1-2it{)}^{-(n_1+n_2+\cdots +n_k)/2}\exp \left\{\frac{it({\lambda }_1+{\lambda }_2+\cdots +{\lambda }_k)}{1-2it}\right\}\\ & \\ & =(1-2it{)}^{-n/2}\exp \left\{\frac{it\lambda }{1-2it}\right\}.\end{array}$$
(2) 根据非中心 ${\chi }^2$ 分布的定义，
$$Y\stackrel{d}{=}{X}_1^2+X_2^2+\cdots +X_{n-1}^2+X_n^2,$$
其中 $X_i\sim N(0,1),i=1,2,\cdots ,n-1,X_n\sim N\left(\sqrt{\lambda },1\right)$ ，且相互独立，于是有
$$\mathrm{E}(Y)=\sum _{i=1}^n\mathrm{E}\left(X_i^2\right),\mathrm{V}\mathrm{a}\mathrm{r}(Y)=\sum _{i=1}^n\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i^2\right).$$
又因为

$$\mathrm{E}\left(X_i^2\right)=\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i\right)+{\left[\mathrm{E}\left(X_i\right)\right]}^2=\{\begin{array}{ll}1,& i=1,2,\cdots ,n-1,\\ 1+\lambda ,& i=n,\end{array}$$

所以 $\mathrm{E}(Y)=n+\lambda$ 。

此外，利用正态分布的概率密度函数，经积分计算可得
$$\mathrm{E}\left(X_i^4\right)=\{\begin{array}{ll}3,& i=1,2,\cdots ,n-1,\\ {\lambda }^2+6\lambda +3,& i=n,\end{array}$$

于是有
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i^2\right)$$