【概率论与数理统计(研究生课程)】知识点总结11(多元统计分析基本概念)

原文地址：【概率论与数理统计(研究生课程)】知识点总结11(多元统计分析基本概念)

随机向量

设$X_1,X_2,\cdots ,X_p$为$p$个随机变量，由它们组成的向量：
$$X=X(X_1,X_2,\cdots ,X_p{)}^{\top }$$
称为随机向量。

随机向量的分布函数和密度函数

设$X=(X_1,X_2,\cdots ,X_p{)}^{\top }$是一随机变量，它的多元分布函数是：
$$F(x)=F(x_1,x_2,\cdots ,x_p)=P(X_1\le x_1,X_2\le x_2,\cdots ,X_p\le x_p)$$
式中：$x=(x_1,x_2,\cdots ,x_p)\in R^p$，并记成$X\sim F(x)$。

设$X\sim F(x)=F(x_1,x_2,\cdots ,x_p)$，若存在一个非负函数$f(\cdot )$，使得：
$$F(x)=\underset{-\infty }{\overset{x_1}{\int }}\cdots \underset{-\infty }{\overset{x_p}{\int }}f(t_1,t_2,\cdots ,t_p)d{t}_1\cdots d{t}_p$$
对一切$x\in R^p$成立，则称$X$或$F(x)$有分布密度$f(\cdot )$，并称$X$为连续型随机向量。

$f(\cdot )$仍然要满足非负归一性。

随机向量的独立性

两个随机向量$X$和$Y$称为相互独立的，若
$$P(X\le x,Y\le y)=P(X\le x)P(y\le y)$$
对一切$x,y$成立。

1. 若$F(x,y)$为$(X,Y)$的联合分布函数，$G(x)$和$H(y)$分别为$X$和$Y$的分布函数，则$X$和$Y$相互独立当且仅当$F(x,y)=G(x)H(y)$。
2. 若$(X,Y)$有分布密度函数$f(x,y)$，用$g(x)$和$h(y)$分别表示$X$和$Y$的密度函数，则$X$和$Y$相互独立当且仅当$f(x,y)=g(x)h(y)$。

• 在上述定义中，$X$和$Y$的维数一般是不同的。
• 可推广到多元。

随机向量的均值

设$X=(X_1,X_2,\cdots ,X_p{)}^{\top }$有$p$个分量，若$E(X_i)={\mu }_i(i=1,2,\cdots ,p)$存在，定义随机向量$X$的均值为：
$$E(X)=\left[\begin{array}{c}E(X_1)\\ E(X_2)\\ ⋮\\ E(X_p)\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right]=\mathbf{\mu }$$
式中，$\mathbf{\mu }$为一个$p$维向量，称为均值变量。

当$A$、$B$为常数矩阵时，由定义可以立即推出如下性质：

1. $E(AX)=AE(X)$
2. $E(AXB)=AE(X)B$

随机向量的协方差矩阵

D ( X ) = C o v ( X , X ) = E { [ X − E ( X ) ] [ X − E ( X ) ] ⊤ ) = [ C o v ( X 1 , X 1 ) C o v ( X 1 , X 2 ) ⋯ C o v ( X 1 , X p ) C o v ( X 2 , X 1 ) C o v ( X 2 , X 2 ) ⋯ C o v ( X 2 , X p ) ⋮ ⋮ ⋯ ⋮ C o v ( X p , X 1 ) C o v ( X p , X 2 ) ⋯ C o v ( X p , X p ) ] = ( σ i j ) p × p = d e f Σ \begin{aligned} D(X)&=Cov(X,X)=E\{[X-E(X)][X-E(X)]^\top) \\ &= \begin{bmatrix} Cov(X_1,X_1) & Cov(X_1,X_2) &\cdots & Cov(X_1,X_p) \\ Cov(X_2,X_1) & Cov(X_2,X_2) &\cdots & Cov(X_2,X_p) \\ \vdots & \vdots & \cdots & \vdots \\ Cov(X_p,X_1) & Cov(X_p,X_2) &\cdots & Cov(X_p,X_p) \\ \end{bmatrix} \\ &=(\sigma_{ij})_{p\times p}\xlongequal{def}\Sigma \end{aligned} D(X)​=Cov(X,X)=E{[X−E(X)][X−E(X)]⊤)=⎣⎢⎢⎢⎡​Cov(X1​,X1​)Cov(X2​,X1​)⋮Cov(Xp​,X1​)​Cov(X1​,X2​)Cov(X2​,X2​)⋮Cov(Xp​,X2​)​⋯⋯⋯⋯​Cov(X1​,Xp​)Cov(X2​,Xp​)⋮Cov(Xp​,Xp​)​⎦⎥⎥⎥⎤​=(σij​)p×p​def Σ​

称为$p$维随机向量$X$的协方差矩阵，简称为$X$的协方差矩阵，称$|Cov(X,X)|$为$X$的广义方差，它是协方差矩阵的行列式之值。
$$Cov(X,Y)=\left[\begin{array}{cccc}Cov(X_1,Y_1)& Cov(X_1,Y_2)& \cdots & Cov(X_1,Y_p)\\ Cov(X_2,Y_1)& Cov(X_2,Y_2)& \cdots & Cov(X_2,Y_p)\\ ⋮& ⋮& \cdots & ⋮\\ Cov(X_p,Y_1)& Cov(X_p,Y_2)& \cdots & Cov(X_p,Y_p)\end{array}\right]$$
称为随机向量$X$和$Y$的协方差矩阵，若$Cov(X,Y)=0$，则称$X$和$Y$不相关。

当$A$、$B$为常数矩阵时，由定义可以推出协方差矩阵有如下性质：

1. $D(AX)=AD(X)A^{\top }=A\Sigma A^{\top }$
2. $Cov(AX,BY)=ACov(X,Y)B^{\top }$
3. 协方差矩阵是一个半正定矩阵

随机向量的相关矩阵

若随机向量$X=(X_1,X_2,\cdots ,X_p{)}^{\top }$的协方差矩阵存在，且每个分量的方差大于$0$，则$X$的相关矩阵定义为$R=(r_{ij}{)}_{p\times p}$为$X$的相关矩阵，其中：
$$r_{ij}=\frac{Cov(X_i,Y_j)}{\sqrt{D(X_i)}\sqrt{D(Y_j)}}=\frac{{\sigma }_{ij}}{\sqrt{{\sigma }_{ii}{\sigma }_{jj}}},i,j=1,2,\cdots ,p$$
这里$D(X_i)=Cov(X_i,X_i)={\sigma }_{ii}$为随机变量$X_i$的方差，而$\sqrt{{\sigma }_{ii}}$为$X_i$的标准差。

若记$V^{\frac{1}{2}}=diag(\sqrt{{\sigma }_{11}},\sqrt{{\sigma }_{22}},\cdots ,\sqrt{{\sigma }_{pp}})$为标准差矩阵，则：
$$\Sigma =V^{\frac{1}{2}}R{V}^{\frac{1}{2}}$$
或
$$R=(V^{\frac{1}{2}}{)}^{-1}\Sigma (V^{\frac{1}{2}}{)}^{-1}$$