【应用多元统计分析】——第三章（1）

应用多元统计分析(2022春)

3.1

设 $\mathbf{x}\sim N_p(\mathbf{\mu },\mathbf{\Sigma }),\mathrm{rank}(\mathbf{\Sigma })=r,\mathbf{u}\sim N_r(0,\mathbf{I})$, 试证存在秩为 $r$ 的 $p\times r$ 矩阵 $\mathbf{A}$, 使得 $\mathbf{x}$ 和 $\mathbf{\mu }+\mathbf{A}\mathbf{u}$ 服从相同的分布。

答案

由 $\S 1.7$ 的性质 (8) 知, 存在秩为 $r$ 的 $p\times r$ 矩阵 $\mathbf{A}$, 使得 $\mathbf{\Sigma }=\mathbf{A}{\mathbf{A}}^{\prime }$ 。由于 $\mathbf{u}\sim N_r(0,\mathbf{I})$, 故 $\mathbf{\mu }+\mathbf{Au}\sim$ $N_p\left(\mathbf{\mu },\mathbf{A}{\mathbf{A}}^{\prime }\right)$, 从而 $\mathbf{\mu }+\mathbf{A}\mathbf{u}$ 与 $\mathbf{x}$ 服从相同的分布 $N_p(\mathbf{\mu },\mathbf{\Sigma })$ 。

3.2

设 $\mathbf{x}\sim N_3(\mathbf{\mu },\mathbf{\Sigma })$, 其中
$$\mathbf{\Sigma }=\left(\begin{array}{rrr}4& -2& -2\\ -2& 2& 0\\ -2& 0& 2\end{array}\right)$$
试求习题 3. 1中的 $\mathbf{A}$ 。

答案

$\Sigma$ 的特征值分别为 $6,2,0$, 前两个正特征值相应的单位特征向量分别为 $(2/\sqrt{6},-1/\sqrt{6},-1/\sqrt{6}{)}^{\prime }$ 和 $(0,1/\sqrt{2},-1/\sqrt{2}{)}^{\prime }$, 由 $\S 1.7$ 性质 (8) 的证明过程知,
$$\mathbf{A}=\left(\sqrt{6}\left(\begin{array}{r}2/\sqrt{6}\\ -1/\sqrt{6}\\ -1/\sqrt{6}\end{array}\right),\sqrt{2}\left(\begin{array}{c}0\\ 1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right)\right)=\left(\begin{array}{rr}2& 0\\ -1& 1\\ -1& -1\end{array}\right)$$

text = "
4 -2 -2
-2 2 0
-2 0 2
"
Sigma = data.matrix(read.table(text=text, fill=TRUE))
colnames(Sigma) = NULL
Sigma
Lambda = eigen(Sigma)$values
Lambda
## [1] 6.000000e+00 2.000000e+00 3.552714e-15
T = eigen(Sigma)$vectors
r = qr(Sigma)$rank
r
## [1] 2
Lambda1 = diag(Lambda[1:r])
T1 = T[,1:r]
A = T1 %*% sqrt(Lambda1 )
A
##      [,1] [,2]
## [1,]    2    0
## [2,]   -1   -1
## [3,]   -1    1

3.3

设 $\mathbf{x}\sim N_3(\mathbf{\mu },\mathbf{\Sigma }),\mathbf{A}=\left(\begin{array}{rrr}\frac{1}{2}& -1& \frac{1}{2}\\ -\frac{1}{2}& 0& -\frac{1}{2}\end{array}\right)$, 其中 $\mathbf{\mu }=(1,2,-1{)}^{\prime },\mathbf{\Sigma }=\left(\begin{array}{rrr}2& 1& 1\\ 1& 2& -1\\ 1& -1& 4\end{array}\right)$, 试求 $\mathbf{y}=\mathbf{A}\mathbf{x}$ 的分布。

答案

计算得

$$E(\mathbf{y})=\mathbf{A}\mathbf{\mu }=\left(\begin{array}{r}-2\\ 0\end{array}\right),V(\mathbf{y})=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\prime }=\left(\begin{array}{rr}4& -2\\ -2& 2\end{array}\right)$$
所以 $\mathbf{y}$ 服从 $N_2\left(\left(\begin{array}{r}-2\\ 0\end{array}\right),\left(\begin{array}{rr}4& -2\\ -2& 2\end{array}\right)\right)$ 。

A = matrix(c(1/2,-1/2,-1,0,1/2,-1/2),2,3)
mu = c(1,2,-1)
Sigma = matrix(c(2,1,1,1,2,-1,1,-1,4),3,3)
Ey = A %*% mu
Ey
##      [,1]
## [1,]   -2
## [2,]    0
Vy = A %*% Sigma %*% t(A)
Vy
##      [,1] [,2]
## [1,]    4   -2
## [2,]   -2    2

3.4

设 $\mathbf{x}\sim N_3(\mathbf{\mu },\mathbf{\Sigma })$, 其中
$$\mathbf{\mu }=\left(\begin{array}{l}3\\ 1\\ 4\end{array}\right),\mathbf{\Sigma }=\left(\begin{array}{rrr}6& 1& -2\\ 1& 13& 4\\ -2& 4& 4\end{array}\right)$$
试求
(1) $y_1=x_1+x_2-2x_3$ 和 $y_2=3x_1-x_2+2x_3$ 的联合分布;
(2) $x_1$ 和 $x_3$ 的联合分布;
(3) $x_1,x_3$ 和 $\frac{1}{2}\left(x_1+x_2\right)$ 的联合分布。

答案

(1)

计算得

$$\left(\begin{array}{l}{y}_1\\ y_2\end{array}\right)=\left(\begin{array}{rrr}1& 1& -2\\ 3& -1& 2\end{array}\right)\left(\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right)\sim N_2\left(\left(\begin{array}{r}-4\\ 16\end{array}\right),\left(\begin{array}{ll}29& 15\\ 15& 37\end{array}\right)\right)$$

A = matrix(c(1,3,1,-1,-2,2),2,3)
mu = c(3,1,4)
Sigma = matrix(c(6, 1, -2, 1, 13, 4, -2, 4, 4), nrow=3)
Ey = A %*% mu; Ey
##      [,1]
## [1,]   -4
## [2,]   16
Vy = A %*% Sigma %*% t(A); Vy
##      [,1] [,2]
## [1,]   29   15
## [2,]   15   37

(2)

注意到
$$\left(\begin{array}{l}{x}_1\\ x_3\end{array}\right)=\left(\begin{array}{rrr}1& 0& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right)\stackrel{\text{def}}{=}B\mathbf{x}$$
仿照(1)计算可得
$$N_2\left(\left(\begin{array}{l}3\\ 4\end{array}\right),\left(\begin{array}{rr}6& -2\\ -2& 4\end{array}\right)\right);$$

B = matrix(c(1,0,0,0,0,1),2,3)
mu = c(3,1,4)
Sigma = matrix(c(6, 1, -2, 1, 13, 4, -2, 4, 4), nrow=3)
Ey = B %*% mu; Ey
##      [,1]
## [1,]    3
## [2,]    4
Vy = B %*% Sigma %*% t(B); Vy
##      [,1] [,2]
## [1,]    6   -2
## [2,]   -2    4

(3)

$$\left(\begin{array}{c}{x}_1\\ x_3\\ \frac{1}{2}\left(x_1+x_2\right)\end{array}\right)=\left(\begin{array}{lll}1& 0& 0\\ 0& 0& 1\\ \frac{1}{2}& \frac{1}{2}& 0\end{array}\right)\left(\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right)\sim N_3\left(\left(\begin{array}{l}3\\ 4\\ 2\end{array}\right),\left(\begin{array}{ccc}6& -2& 3\frac{1}{2}\\ -2& 4& 1\\ 3\frac{1}{2}& 1& 5\frac{1}{4}\end{array}\right)\right)$$

C = matrix(c(1,0,1/2,0,0,1/2,0,1,0),3)
mu = c(3,1,4)
Sigma = matrix(c(6, 1, -2, 1, 13, 4, -2, 4, 4), nrow=3)
Ey = C %*% mu; Ey
##      [,1]
## [1,]    3
## [2,]    4
## [3,]    2
Vy = C %*% Sigma %*% t(C); Vy
##      [,1] [,2] [,3]
## [1,]  6.0   -2 3.50
## [2,] -2.0    4 1.00
## [3,]  3.5    1 5.25

3.5

设 $\mathbf{x}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$, 其中 $\mathbf{x}={\left(x_1,x_2,\cdots ,x_p\right)}^{\prime },\mathbf{\mu }={\left({\mu }_1,{\mu }_2,\cdots ,{\mu }_p\right)}^{\prime },\mathbf{\Sigma }=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)$, 试证 $x_1$, $x_2,\cdots ,x_p$ 相互独立。

答案

由 $\mathbf{x}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$ 可知, $x_i\sim N\left({\mu }_i,{\sigma }_i^2\right)$ 。由于
$$\begin{array}{rl}f(\mathbf{x})& =(2\pi {)}^{-p/2}|\mathbf{\Sigma }{|}^{-1/2}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\prime }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right]\\ & =(2\pi {)}^{-p/2}{\left({\sigma }_1{\sigma }_2\cdots {\sigma }_p\right)}^{-1}\exp \left[-\frac{1}{2}\sum _{i=1}^p{\left(\frac{x_i-{\mu }_i}{{\sigma }_i}\right)}^2\right]\\ & =\prod _{i=1}^p\frac{1}{\sqrt{2\pi }{\sigma }_i}{\mathrm{e}}^{\frac{{\left(x_i-{\mu }_i\right)}^2}{2{\sigma }_i^2}}=\prod _{i=1}^p{f}_i\left(x_i\right)\end{array}$$

联合密度等于边缘密度乘积, 故$x_1,x_2,\cdots ,x_p$ 相互独立。

3.6(有用结论)

试证独立正态变量的联合分布必然是多元正态的。

答案

设 $x_i\sim N\left({\mu }_i,{\sigma }_i^2\right)$, 且 $x_1,x_2,\cdots ,x_p$ 相互独立, 则
$$\begin{array}{rl}f\left(x_1,x_2,\cdots ,x_p\right)& =\prod _{i=1}^p{f}_i\left(x_i\right)=(2\pi {)}^{-p/2}{\left({\sigma }_1{\sigma }_2\cdots {\sigma }_p\right)}^{-1}\exp \left[-\frac{1}{2}\sum _{i=1}^p{\left(\frac{x_i-{\mu }_i}{{\sigma }_i}\right)}^2\right]\\ & =(2\pi {)}^{-p/2}|\mathbf{\Sigma }{|}^{-1/2}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\prime }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right]\end{array}$$
其中 $\mathbf{\Sigma }=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)>0$, 所以 $x_1,x_2,\cdots ,x_p$ 的联合分布是多元正态的。

3.7

设 $\mathbf{x}\sim N_4(\mathbf{\mu },\mathbf{\Sigma })$, 其中
$$\mathbf{\mu }=\left(\begin{array}{r}-4\\ 2\\ 5\\ -1\end{array}\right),\mathbf{\Sigma }=\left(\begin{array}{rrrr}8& 0& -1& 0\\ 0& 3& 0& 2\\ -1& 0& 5& 0\\ 0& 2& 0& 7\end{array}\right)$$
以下哪些随机变量对是独立的? 为什么?
(1) $x_1$ 和 $x_2$; (2) $x_1$ 和 $x_3$; (3) $x_2$ 和 $x_3$; (4) $x_3$ 和 $x_4$; (5) $\left(x_1,x_2\right)$ 和 $x_3$; (6) $\left(x_1,x_3\right)$ 和 $x_4;$ (7) $x_1$ 和 $(x_2$, $x_4)$; (8) $\left(x_1,x_2\right)$ 和 $\left(x_3,x_4\right)$; (9) $\left(x_1,x_3\right)$ 和 $\left(x_2,x_4\right)$ 。

答案

注: 答案提示只给出了(1), (3), (4), (6), (7) 和 (9)是独立的, 但没有给出理由, 请补充.

(1)

$$\begin{gathered} \left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right) \\ Cov(x_1,x_2)=\left(1,0\right)\left(\begin{array}{cc}8& 0\\ 0& 3\end{array}\right)\left(\begin{array}{c}0\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1$ 和 $x_2$ 相互独立

(2)

$$\begin{gathered} \left(\begin{array}{c}{x}_1\\ x_3\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_3\end{array}\right) \\ Cov(x_1,x_3)=\left(1,0\right)\left(\begin{array}{cc}8& -1\\ -1& 5\end{array}\right)\left(\begin{array}{c}0\\ 1\end{array}\right)=-1 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1$ 和 $x_3$ 不相互独立

(3)

$$\begin{gathered} \left(\begin{array}{c}{x}_2\\ x_3\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ x_3\end{array}\right) \\ Cov(x_2,x_3)=(1,0)\left(\begin{array}{cc}3& 0\\ 0& 5\end{array}\right)\left(\begin{array}{c}0\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_2$ 和 $x_3$ 相互独立

(4)

$$\begin{gathered} \left(\begin{array}{c}{x}_3\\ x_4\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_3\\ x_4\end{array}\right) \\ Cov(x_3,x_4)=(1,0)\left(\begin{array}{cc}5& 0\\ 0& 7\end{array}\right)\left(\begin{array}{c}0\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_3$ 和 $x_4$ 相互独立

(5)

$$\begin{gathered} \left(\begin{array}{c}{x}_1+x_2\\ x_3\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right) \\ Cov(x_1+x_2,x_3)=(1,1,0)\left(\begin{array}{ccc}8& 0& -1\\ 0& 3& 0\\ -1& 0& 5\end{array}\right)\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)=-1 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1+x_2$ 和 $x_3$ 相互不独立

(6)

$$\begin{gathered} \left(\begin{array}{c}{x}_1+x_3\\ x_4\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_3\\ x_4\end{array}\right) \\ Cov(x_1+x_3,x_4)=(1,1,0)\left(\begin{array}{ccc}8& -1& 0\\ -1& 5& 0\\ 0& 0& 7\end{array}\right)\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1+x_3$ 和 $x_4$ 相互独立

(7)

$$\begin{gathered} \left(\begin{array}{c}{x}_1\\ x_2+x_4\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_4\end{array}\right) \\ Cov(x_1,x_2+x_4)=(1,0,0)\left(\begin{array}{ccc}8& 0& 0\\ 0& 3& 2\\ 0& 2& 7\end{array}\right)\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1$ 和 $x_2+x_4$ 相互独立

(8)

$$\begin{gathered} \left(\begin{array}{c}{x}_1+x_2\\ x_3+x_4\end{array}\right)=\left(\begin{array}{cccc}1& 1& 0& 0\\ 0& 0& 1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right) \\ Cov(x_1+x_2,x_3+x_4)=(1,1,0,0)\left(\begin{array}{rrrr}8& 0& -1& 0\\ 0& 3& 0& 2\\ -1& 0& 5& 0\\ 0& 2& 0& 7\end{array}\right)\left(\begin{array}{c}0\\ 0\\ 1\\ 1\end{array}\right)=1 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1+x_2$ 和 $x_3+x_4$ 不相互独立

(9)

$$\begin{gathered} \left(\begin{array}{c}{x}_1+x_3\\ x_2+x_4\end{array}\right)=\left(\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right) \\ Cov(x_1+x_3,x_2+x_4)=(1,0,1,0)\left(\begin{array}{rrrr}8& 0& -1& 0\\ 0& 3& 0& 2\\ -1& 0& 5& 0\\ 0& 2& 0& 7\end{array}\right)\left(\begin{array}{c}0\\ 1\\ 0\\ 1\end{array}\right)=0 \end{gathered}$$

从而由$S3.2$中的性质$(6)$知，$x_1+x_3$ 和 $x_2+x_4$ 相互独立

3.8

设 $\mathbf{x}\sim N_2(\mathbf{\mu },\mathbf{\Sigma })$, 其中 $\mathbf{x}={\left(x_1,x_2\right)}^{\prime },\mathbf{\mu }={\left({\mu }_1,{\mu }_2\right)}^{\prime },\mathbf{\Sigma }={\sigma }^2\left(\begin{array}{ll}1& \rho \\ \rho & 1\end{array}\right)$, 试证 $x_1+x_2$ 和 $x_1-x_2$ 相互独立。

答案

因为$\mathbf{x}\sim N_2(\mathbf{\mu },\mathbf{\Sigma })$，由$\mathbf{y}\sim N_r\left(\mathbf{C}\mathbf{\mu }+\mathbf{b},\mathbf{C}\mathbf{\Sigma }{\mathbf{C}}^{\prime }\right)$得：
$$\left(\begin{array}{l}{x}_1+x_2\\ x_1-x_2\end{array}\right)=\left(\begin{array}{rr}1& 1\\ 1& -1\end{array}\right)\left(\begin{array}{l}{x}_1\\ x_2\end{array}\right)\sim N_2(\mathbf{\mu },\mathbf{\Sigma })$$

又因为
$$\mathrm{Cov}\left(x_1+x_2,x_1-x_2\right)=\mathrm{Cov}\left((1,1)\left(\begin{array}{l}{x}_1\\ x_2\end{array}\right),(1,-1)\left(\begin{array}{l}{x}_1\\ x_2\end{array}\right)\right)={\sigma }^2(1,1)\left(\begin{array}{ll}1& \rho \\ \rho & 1\end{array}\right)\left(\begin{array}{r}1\\ -1\end{array}\right)=0$$
从而由$S3.2$中的性质$(6)$知，$x_1+x_2$ 和 $x_1-x_2$ 相互独立。