随机向量的统计描述

由随机变量组成的向量称为随机向量，在信号处理、自动控制、通信、电子工程、神经网络等应用中，观测数据和加性噪声通常取随机变量。

先介绍随机向量的一阶统计量，再介绍二阶统计量，最后介绍一阶与二阶的关系与相关性质。

均值向量

一个$m\times 1$的随机向量$\vec{x}(\xi )=[x_1(\xi ),\cdots ,x_m(\xi ){]}^{\mathrm{T}}$，令随机变量$x_i(\xi )$的均值$E[x_i(\xi )]={\mu }_i$，则随机向量的数学期望称为均值向量，记作${\vec{\mu }}_x$，定义为$${\vec{\mu }}_x=E[{\vec{x}}_i(\xi )]=\left[\begin{array}{c}E[x_1(\xi )]\\ ⋮\\ E[x_m(\xi )]\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ ⋮\\ {\mu }_m\end{array}\right]$$
上式表明，均值向量的元素是随机向量各个元素的均值。

相关矩阵与协方差矩阵

两个向量$\vec{x}\in {\mathbb{C}}^{m\times 1}$与$\vec{y}\in {\mathbb{C}}^{n\times 1}$的外积是一个$m\times n$的复矩阵，记作$\vec{x}\circ \vec{y}$，定义为$$\vec{x}\circ \vec{y}=\vec{x}{\vec{y}}^{\mathrm{H}}$$

1. 随机向量的自相关矩阵定义为该向量与自身外积的数学期望$${\mathbf{R}}_x=E[\vec{x}(\xi ){\vec{x}}^{\mathrm{H}}(\xi )]=\left[\begin{array}{ccc}{r}_{11}& \cdots & r_{1m}\\ ⋮& \ddots & ⋮\\ r_{m1}& \cdots & r_{mm}\end{array}\right]$$式中，主对角线上的元素$r_{ii},i=1,\cdots ,m$表示随机变量$x_i(\xi )$的自相关函数，定义为$$r_{ii}=E[{\left|x_i(\xi )\right|}^2]，i=1,\cdots ,m$$而$r_{ij}$表示随机变量$x_i(\xi )$与$x_j(\xi )$之间的互相关函数，定义为$$r_{ij}=E[x_i(\xi )x_j^{\ast }(\xi )]，i,j=1,\cdots ,m，i\ne j$$可以看出自相关矩阵${\mathbf{R}}_x$是复共轭对称的，即$Hermitian$矩阵。
2. 随机向量$\vec{x}(\xi )$的自协方差矩阵记为${\mathbf{C}}_x$，定义为$${\mathbf{C}}_x=\mathrm{Cov}(\vec{x},\vec{x})=E\left\{[\vec{x}(\xi )-{\vec{\mu }}_x][\vec{x}(\xi )-{\vec{\mu }}_x{]}^{\mathrm{H}}\right\}=\left[\begin{array}{ccc}{c}_{11}& \cdots & c_{1m}\\ ⋮& \ddots & ⋮\\ c_{m1}& \cdots & c_{mm}\end{array}\right]$$式中，主对角线的元素$$c_{ii}=E[{\left|x_i(\xi )-{\mu }_i\right|}^2]，i=1,\cdots ,m$$即随机变量$x_i(\xi )$的方差${\sigma }_i^2，c_{ii}={\sigma }_i^2$。而非主对角线上的元素 c i j = E { [ x i ( ξ ) − μ i ] [ x j ( ξ ) − μ j ] ∗ } = E [ x i ( ξ ) x j ∗ ( ξ ) ] − μ i μ j ∗ = c j i ∗ c_{ij}=E\left \{[x_{i} (\xi)-\mu_{i}][x_{j} (\xi)-\mu_{j}]^{* } \right \} =E[ x _{i}(\xi) x _{j}^{*} (\xi) ]-\mu_{i}\mu_{j}^{*} =c_{ji}^{*} cij​=E{[xi​(ξ)−μi​][xj​(ξ)−μj​]∗}=E[xi​(ξ)xj∗​(ξ)]−μi​μj∗​=cji∗​表示随机变量$x_i(\xi )$与$x_j(\xi )$之间的协方差。可以看出，自协方差矩阵也是$Hermitian$矩阵。

自协方差矩阵也可以称为方差矩阵，用$\mathrm{Var}\left(\vec{x}\right)$表示，即有$$\mathrm{Var}\left(\vec{x}\right)=E\left\{[\vec{x}(\xi )-{\vec{\mu }}_x][\vec{x}(\xi )-{\vec{\mu }}_x{]}^{\mathrm{H}}\right\}$$显然，$\mathrm{Var}\left(\vec{x}\right)=\mathrm{Cov}(\vec{x},\vec{x})$。

3. 自相关矩阵和自协方差矩阵之间存在如下关系$${\mathbf{C}}_x={\mathbf{R}}_x-{\vec{\mu }}_x{\vec{\mu }}_x^{\mathrm{H}}$$
4. 推广自相关矩阵的概念，可以得到随机向量$\vec{x}(\xi )$与$\vec{y}(\xi )$的互相关矩阵$${\mathbf{R}}_{xy}=E[\vec{x}(\xi ){\vec{y}}^{\mathrm{H}}(\xi )]=\left[\begin{array}{ccc}{r}_{x_1,y_1}& \cdots & r_{x_1,y_m}\\ ⋮& \ddots & ⋮\\ r_{x_m,y_1}& \cdots & r_{x_m,y_m}\end{array}\right]$$式中，$r_{x_i,y_i}=E[x_i(\xi )y_j^{\ast }(\xi )]$是随机变量$x_i(\xi )$和$y_i(\xi )$之间的互相关。

若$r_{x_i,y_i}=0$，即它们的互相关等于0，则称两个随机变量$x_i(\xi )$和$y_i(\xi )$正交。
若${\mathbf{R}}_{xy}=0_{m\times n}$，则称两个随机向量$\vec{x}(\xi )$和$\vec{y}(\xi )$正交。

5. 推广自协方差矩阵的概念，可以得到随机向量$\vec{x}(\xi )$与$\vec{y}(\xi )$的互协方差矩阵$${\mathbf{C}}_{xy}=\mathrm{Cov}(\vec{x},\vec{y})=E\left\{[\vec{x}(\xi )-{\vec{\mu }}_x][\vec{y}(\xi )-{\vec{\mu }}_y{]}^{\mathrm{H}}\right\}=\left[\begin{array}{ccc}{c}_{x_1,y_1}& \cdots & c_{x_1,y_m}\\ ⋮& \ddots & ⋮\\ c_{x_m,y_1}& \cdots & c_{x_m,y_m}\end{array}\right]$$式中，$c_{x_i,y_i}=E\left\{[x_i(\xi )-{\mu }_{x_i}][y_j(\xi )-{\mu }_{y_j}{]}^{\ast }\right\}$是随机变量$x_i(\xi )$和$y_i(\xi )$之间的互协方差。

比较互相关矩阵和互协方差矩阵的定义可知，若两个随机向量$\vec{x}(\xi )$和$\vec{y}(\xi )$均具有零均值向量，则其互相关矩阵与互协方差矩阵等价。因此对于具有零均值向量的两个随机向量而言，它们之间的统计不相关与正交等价。

6. 互相关矩阵与互协方差矩阵之间存在如下关系$${\mathbf{C}}_{xy}={\mathbf{R}}_{xy}-{\vec{\mu }}_x{\vec{\mu }}_y^{\mathrm{H}}$$
7. 可以证明，一个随机向量的自相关矩阵和自协方差矩阵均为$Hermitian$矩阵，但两个随机变量$\vec{x}(\xi )$与$\vec{y}(\xi )$（即使维数相同）的互相关矩阵和互协方差矩阵均不是复共轭对称矩阵。