随机过程（2.1）—— 多维随机变量（随机向量）

• 随机过程本质就是一组与时间相关的随机变量，描述系统在 一系列时刻所处的状态。因此，我们首先补充关于多维随机变量（随机向量）的内容
• 注：本文中加粗大写字母代表矩阵（如 $A,B,L\text{A,B,L}A,B,L$） 或随机向量（如 $X,Y\text{X,Y}X,Y$）；加粗小写字母代表数的向量（如 $a,b\text{a,b}a,b$）；普通大写字母代表一个随机变量（如 $X,Y$）

---

1. 多维 r.v. 的期望和方差

• 记多维 r.v.s. 为 $X\text{X}X=\left[\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right],Y\text{Y}Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ⋮\\ Y_n\end{array}\right]$
  1. 期望：$EX\text{X}X=\left[\begin{array}{c}E{X}_1\\ E{X}_2\\ ⋮\\ E{X}_n\end{array}\right]$
  2. 方差（矩阵）：
     $$\begin{array}{rl}\text{Var}(X\text{X}X)& =(\text{Cov}(X_i,X_j){)}_{n\times n}\\ & =\left(E\right[(X_i-E{X}_i)(X_j-E{X}_j)]{)}_{n\times n}\\ & =E[(X\text{X}X-EX\text{X}X)(X\text{X}X-EX\text{X}X{)}^{\top }]\end{array}$$
  3. 协方差（矩阵）：
     $$\begin{array}{rl}\text{Cov}(X\text{X}X,Y\text{Y}Y)& =(\text{Cov}(X_i,Y_j){)}_{n\times n}\\ & =\left(E\right[(X_i-E{X}_i)(Y_j-E{Y}_j)]{)}_{n\times n}\\ & =E[(X\text{X}X-EX\text{X}X)(Y\text{Y}Y-EY\text{Y}Y{)}^{\top }]\end{array}$$
• 方差矩阵性质： $\text{Var}(AX\text{AX}AX)=A\text{A}A\text{Var}(X\text{X}X){A\text{A}A}^{\top }$，证明如下
  $$\begin{array}{rl}\text{Var}(AX\text{AX}AX)& =E[(AX\text{AX}AX-EAX\text{AX}AX)(AX\text{AX}AX-EAX\text{AX}AX{)}^{\top }]\\ & =E[(AX\text{AX}AX-A\text{A}AEX\text{X}X)(AX\text{AX}AX-A\text{A}AEX\text{X}X{)}^{\top }]\\ & =A\text{A}AE[(X\text{X}X-EX\text{X}X)(A\text{A}A(X\text{X}X-EX\text{X}X{)}^{\top })]\\ & =A\text{A}AE[(X\text{X}X-EX\text{X}X)(X\text{X}X-EX\text{X}X{)}^{\top }{A\text{A}A}^{\top }]\\ & =A\text{A}AE[(X\text{X}X-EX\text{X}X)(X\text{X}X-EX\text{X}X{)}^{\top }]{A\text{A}A}^{\top }\\ & =A\text{A}A\text{Var}(X\text{X}X){A\text{A}A}^{\top }\end{array}$$ 说明：随机变量的线性组合仍是随机变量，对于一组随机变量，或者 “随机向量” 而言，可以对它们进行线性组合得到一个新的 “随机向量”，并用矩阵形式表示为 ${A\text{A}A}_{r\times n}{X\text{X}X}_{n\times 1}={X\text{X}X}_{r\times 1}^{\prime }$，即上式中 $AX\text{AX}AX$

2. 多维 r.v. 的分布函数

• 对于多维 r.v.s.（随机向量） $X\text{X}X=\left[\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right]$，其分布函数定义为
  $$F(X\text{X}X)=F(X_1,X_2,...,X_n)=P(X_1\le x_1,X_2\le x_2,...,X_n\le x_n)=P(X\text{X}X\le x\text{x}x)$$
• 两道例题
  1. 令 $X_t=\xi cost$，其中 $P(\xi =1)=P(\xi =2)=P(\xi =3)=\frac{1}{3},t\in \mathbb{R}$，这样就可以通过选取不同的实数 $t$ 得到任意维随机向量 { X t } \{X_t\} {Xt​}。求一维分布 $F(x;\frac{\pi }{4}),F(x;\frac{\pi }{2})$ 和二维分布 $F(x_1,x_2;0,\frac{\pi }{3})$
  2. 令 $X_t=\xi +\eta t$，其中 $\xi ,\eta$ 为互相独立的标准正态分布，$t\in \mathbb{R}$，这样就可以通过选取不同的实数 $t$ 得到任意维随机向量 { X t } \{X_t\} {Xt​}，求一维分布和二维分布
     
     注：右边第1题答案中第3问，分布列应该是 $X_{t=\frac{\pi }{3}}=\frac{1}{2},1,\frac{3}{2}$，订正一下

3. 多维 r.v. 的函数（统计量）的概率密度

• 以二维情况为例，设二维 r.v. $X\text{X}X=(X_1,X_2)$ 的概率密度函数为
  $$f_{\mathbf{X}}(x_1,x_2)=\{\begin{array}{rlrl}& f_{\mathbf{X}}^G(x_1,x_2)& & ,(x_1,x_2)\in G\subset \mathbb{R}\\ & 0& & ,(x_1,x_2)\notin G\end{array}$$ 当有 $\{\begin{array}{rl}& Y_1=g_1(X_1,X_2)\\ & Y_2=g_2(X_1,X_2)\end{array}$ 时，求 $Y\text{Y}Y=(Y_1,Y_2)$ 的概率密度函数 $f_{\mathbf{Y}}(y_1,y_2)$
• 遵循以下过程求解
  1. 依题意，对于 $X_1,X_2$ 的任意取值 $x_1,x_2$，变换 $T$ 为
     $$T:\{\begin{array}{rl}& y_1=g_1(x_1,x_2)\\ & y_2=g_2(x_1,x_2)\end{array}$$ 利用变换 $T$，把取值范围变换过来，即利用所有概率非0的 $(x_1,x_2)$ 找出所有概率非零的 $(y_1,y_2)$
     $$G^{\ast }=T(G)$$
  2. 下面求 $T$ 的反函数（即利用 $y\text{y}y$ 表示 $x\text{x}x$），先假设有唯一的反函数
     $$\{\begin{array}{rl}& x_1=x_1(y_1,y_2)\\ & x_2=x_2(y_1,y_2)\end{array}$$
  3. 计算 Jacobi 行列式 （Jacobi 矩阵的行列式）
     $$|J\text{J}J|=\left|\begin{array}{c}\frac{\partial (x_1,x_2)}{\partial (y_1,y_2)}\end{array}\right|=\left|\begin{array}{cc}\frac{\partial x_1}{\partial y_1}& \frac{\partial x_2}{\partial y_1}\\ \frac{\partial x_1}{\partial y_2}& \frac{\partial x_2}{\partial y_2}\end{array}\right|$$ 得到 Y = { Y 1 , Y 2 } \pmb{Y} = \{Y_1,Y_2\} YYY={Y1​,Y2​} 的 p.d.f. 为
     $$f_{\mathbf{Y}}(y_1,y_2)=\{\begin{array}{rlrl}& f_{\mathbf{X}}^G(x_1(y_1,y_2),x_2(y_1,y_2))|J\text{J}J|& & ,(y_1,y_2)\in G^{\ast }\\ & 0& & ,(y_1,y_2)\notin G^{\ast }\end{array}$$
  4. 若第 2 步中的反函数不唯一，则对每个反函数 ${x\text{x}x}^{(i)}$ 计算对应的 Jacobi 行列式 $|{J\text{J}J}^{(i)}|,i=1,2,...,n$，最后得到 Y = { Y 1 , Y 2 } \pmb{Y} = \{Y_1,Y_2\} YYY={Y1​,Y2​} 的 p.d.f. 为
     $$f_{\mathbf{Y}}(y_1,y_2)=\{\begin{array}{rlrl}& \sum _{i=1}^n{f}_{\mathbf{X}}^G(x_1^{(i)}(y_1,y_2),x_2^{(i)}(y_1,y_2))|{J\text{J}J}^{(i)}|& & ,(y_1,y_2)\in G^{\ast }\\ & 0& & ,(y_1,y_2)\notin G^{\ast }\end{array}$$
• 例题：

  1. 设 r.v.s { X , Y } \{X,Y\} {X,Y} 有 $X,Y\sim ϵ(1)$ 且相互独立，对于如下线性变换，求 $g(u,v)$ 的 p.d.f
     $$\{\begin{array}{rl}& U=X+Y\\ & V=X/Y\end{array}$$ 注意 $X,Y$ 独立 $\iff F_{X,Y}(x,y)=F_X(x)F_Y(y)$，答案如下
     

  2. 设 r.v.s { X , Y } \{X,Y\} {X,Y} 有 $X,Y\sim N(0,{\sigma }^2)$ 且相互独立，对于如下线性变换，求 $g(u,v)$ 的 p.d.f
     $$\{\begin{array}{rl}& U=\sqrt{X^2+Y^2}\\ & V=X/Y\end{array}$$ 注意 $X,Y$ 独立 $\iff F_{X,Y}(x,y)=F_X(x)F_Y(y)$，答案如下