由随机变量组成的向量称为随机向量,在信号处理、自动控制、通信、电子工程、神经网络等应用中,观测数据和加性噪声通常取随机变量。
先介绍随机向量的一阶统计量,再介绍二阶统计量,最后介绍一阶与二阶的关系与相关性质。
均值向量
一个
m
×
1
m\times 1
m×1的随机向量
x
⃗
(
ξ
)
=
[
x
1
(
ξ
)
,
⋯
,
x
m
(
ξ
)
]
T
\vec{x} (\xi) =[x _{1}(\xi),\cdots ,x_{m}(\xi) ]^{\mathrm{T} }
x(ξ)=[x1(ξ),⋯,xm(ξ)]T,令随机变量
x
i
(
ξ
)
x_{i}(\xi)
xi(ξ)的均值
E
[
x
i
(
ξ
)
]
=
μ
i
E[x_{i}(\xi)]=\mu _{i}
E[xi(ξ)]=μi,则随机向量的数学期望称为均值向量,记作
μ
⃗
x
\vec{\mu} _{x}
μx,定义为
μ
⃗
x
=
E
[
x
⃗
i
(
ξ
)
]
=
[
E
[
x
1
(
ξ
)
]
⋮
E
[
x
m
(
ξ
)
]
]
=
[
μ
1
⋮
μ
m
]
\vec{\mu} _{x}=E[\vec{x}_{i}(\xi)]=\begin{bmatrix}E[x_{1}(\xi)] \\\vdots \\E[x_{m}(\xi)]\end{bmatrix}=\begin{bmatrix}\mu _{1} \\\vdots\\\mu _{m}\end{bmatrix}
μx=E[xi(ξ)]=⎣
⎡E[x1(ξ)]⋮E[xm(ξ)]⎦
⎤=⎣
⎡μ1⋮μm⎦
⎤
上式表明,均值向量的元素是随机向量各个元素的均值。
相关矩阵与协方差矩阵
两个向量 x ⃗ ∈ C m × 1 \vec{x} \in {\Bbb C}^{m\times 1} x∈Cm×1与 y ⃗ ∈ C n × 1 \vec{y} \in {\Bbb C}^{n\times 1} y∈Cn×1的外积是一个 m × n {m\times n} m×n的复矩阵,记作 x ⃗ ∘ y ⃗ \vec{x}\circ\vec{y} x∘y,定义为 x ⃗ ∘ y ⃗ = x ⃗ y ⃗ H \vec{x}\circ\vec{y}=\vec{x}\vec{y}^{\mathrm{H} } x∘y=xyH
- 随机向量的自相关矩阵定义为该向量与自身外积的数学期望 R x = E [ x ⃗ ( ξ ) x ⃗ H ( ξ ) ] = [ r 11 ⋯ r 1 m ⋮ ⋱ ⋮ r m 1 ⋯ r m m ] \mathbf{R} _{x} = E[\vec{x}(\xi)\vec{x}^{\mathrm{H} } (\xi) ]=\begin{bmatrix} r_{11} & \cdots & r_{1m}\\ \vdots & \ddots & \vdots\\ r_{m1} & \cdots &r_{mm} \end{bmatrix} Rx=E[x(ξ)xH(ξ)]=⎣ ⎡r11⋮rm1⋯⋱⋯r1m⋮rmm⎦ ⎤式中,主对角线上的元素 r i i , i = 1 , ⋯ , m r_{ii},i=1,\cdots,m rii,i=1,⋯,m表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)的自相关函数,定义为 r i i = E [ ∣ x i ( ξ ) ∣ 2 ] , i = 1 , ⋯ , m r_{ii}=E[\left | x _{i}(\xi) \right |^{2} ],i=1,\cdots,m rii=E[∣xi(ξ)∣2],i=1,⋯,m而 r i j r_{ij} rij表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)与 x j ( ξ ) x _{j}(\xi) xj(ξ)之间的互相关函数,定义为 r i j = E [ x i ( ξ ) x j ∗ ( ξ ) ] , i , j = 1 , ⋯ , m , i ≠ j r_{ij}=E[ x _{i}(\xi) x _{j}^{*} (\xi) ],i,j=1,\cdots,m,i\ne j rij=E[xi(ξ)xj∗(ξ)],i,j=1,⋯,m,i=j可以看出自相关矩阵 R x \mathbf{R} _{x} Rx是复共轭对称的,即 H e r m i t i a n Hermitian Hermitian矩阵。
- 随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)的自协方差矩阵记为 C x \mathbf{C} _{x} Cx,定义为 C x = C o v ( x ⃗ , x ⃗ ) = E { [ x ⃗ ( ξ ) − μ ⃗ x ] [ x ⃗ ( ξ ) − μ ⃗ x ] H } = [ c 11 ⋯ c 1 m ⋮ ⋱ ⋮ c m 1 ⋯ c m m ] \mathbf{C} _{x} =\mathrm{Cov} (\vec{x} ,\vec{x} )=E\left \{[\vec{x}(\xi)-\vec{\mu} _{x}][\vec{x}(\xi)-\vec{\mu} _{x}]^{\mathrm{H} } \right \} =\begin{bmatrix} c_{11} & \cdots & c_{1m}\\ \vdots & \ddots & \vdots\\ c_{m1} & \cdots &c_{mm} \end{bmatrix} Cx=Cov(x,x)=E{[x(ξ)−μx][x(ξ)−μx]H}=⎣ ⎡c11⋮cm1⋯⋱⋯c1m⋮cmm⎦ ⎤式中,主对角线的元素 c i i = E [ ∣ x i ( ξ ) − μ i ∣ 2 ] , i = 1 , ⋯ , m c_{ii}=E[\left | x _{i}(\xi)-\mu _{i} \right |^{2} ],i=1,\cdots,m cii=E[∣xi(ξ)−μi∣2],i=1,⋯,m即随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)的方差 σ i 2 , c i i = σ i 2 \sigma_{i}^{2},c_{ii}=\sigma_{i}^{2} σi2,cii=σi2。而非主对角线上的元素 c i j = E { [ x i ( ξ ) − μ i ] [ x j ( ξ ) − μ j ] ∗ } = E [ x i ( ξ ) x j ∗ ( ξ ) ] − μ i μ j ∗ = c j i ∗ c_{ij}=E\left \{[x_{i} (\xi)-\mu_{i}][x_{j} (\xi)-\mu_{j}]^{* } \right \} =E[ x _{i}(\xi) x _{j}^{*} (\xi) ]-\mu_{i}\mu_{j}^{*} =c_{ji}^{*} cij=E{[xi(ξ)−μi][xj(ξ)−μj]∗}=E[xi(ξ)xj∗(ξ)]−μiμj∗=cji∗表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)与 x j ( ξ ) x _{j}(\xi) xj(ξ)之间的协方差。可以看出,自协方差矩阵也是 H e r m i t i a n Hermitian Hermitian矩阵。
自协方差矩阵也可以称为方差矩阵,用 V a r ( x ⃗ ) \mathrm{Var} \left ( \vec{x} \right ) Var(x)表示,即有 V a r ( x ⃗ ) = E { [ x ⃗ ( ξ ) − μ ⃗ x ] [ x ⃗ ( ξ ) − μ ⃗ x ] H } \mathrm{Var} \left ( \vec{x} \right )=E\left \{[\vec{x}(\xi)-\vec{\mu} _{x}][\vec{x}(\xi)-\vec{\mu} _{x}]^{\mathrm{H} } \right \} Var(x)=E{[x(ξ)−μx][x(ξ)−μx]H}显然, V a r ( x ⃗ ) = C o v ( x ⃗ , x ⃗ ) \mathrm{Var} \left ( \vec{x} \right )=\mathrm{Cov} (\vec{x} ,\vec{x} ) Var(x)=Cov(x,x)。
- 自相关矩阵和自协方差矩阵之间存在如下关系 C x = R x − μ ⃗ x μ ⃗ x H \mathbf{C} _{x}=\mathbf{R} _{x} -\vec{\mu} _{x}\vec{\mu} _{x}^{\mathrm{H} } Cx=Rx−μxμxH
- 推广自相关矩阵的概念,可以得到随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)与 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)的互相关矩阵 R x y = E [ x ⃗ ( ξ ) y ⃗ H ( ξ ) ] = [ r x 1 , y 1 ⋯ r x 1 , y m ⋮ ⋱ ⋮ r x m , y 1 ⋯ r x m , y m ] \mathbf{R} _{xy} =E[\vec{x}(\xi)\vec{y}^{\mathrm{H} } (\xi) ]=\begin{bmatrix} r_{x_{1},y_{1} } & \cdots & r_{x_{1},y_{m}}\\ \vdots & \ddots & \vdots\\ r_{x_{m},y_{1}} & \cdots &r_{x_{m},y_{m}} \end{bmatrix} Rxy=E[x(ξ)yH(ξ)]=⎣ ⎡rx1,y1⋮rxm,y1⋯⋱⋯rx1,ym⋮rxm,ym⎦ ⎤式中, r x i , y i = E [ x i ( ξ ) y j ∗ ( ξ ) ] r_{x_{i},y_{i}}=E[ x _{i}(\xi) y _{j}^{*} (\xi) ] rxi,yi=E[xi(ξ)yj∗(ξ)]是随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)之间的互相关。
若 r x i , y i = 0 r_{x_{i},y_{i}}=0 rxi,yi=0,即它们的互相关等于0,则称两个随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)正交。
若 R x y = 0 m × n \mathbf{R} _{xy} =\mathbf{0} _{m\times n} Rxy=0m×n,则称两个随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)和 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)正交。
- 推广自协方差矩阵的概念,可以得到随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)与 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)的互协方差矩阵 C x y = C o v ( x ⃗ , y ⃗ ) = E { [ x ⃗ ( ξ ) − μ ⃗ x ] [ y ⃗ ( ξ ) − μ ⃗ y ] H } = [ c x 1 , y 1 ⋯ c x 1 , y m ⋮ ⋱ ⋮ c x m , y 1 ⋯ c x m , y m ] \mathbf{C} _{xy} =\mathrm{Cov} (\vec{x} ,\vec{y} )=E\left \{[\vec{x}(\xi)-\vec{\mu} _{x}][\vec{y}(\xi)-\vec{\mu} _{y}]^{\mathrm{H} } \right \} =\begin{bmatrix} c_{x_{1},y_{1} } & \cdots & c_{x_{1},y_{m}}\\ \vdots & \ddots & \vdots\\ c_{x_{m},y_{1}} & \cdots &c_{x_{m},y_{m}} \end{bmatrix} Cxy=Cov(x,y)=E{[x(ξ)−μx][y(ξ)−μy]H}=⎣ ⎡cx1,y1⋮cxm,y1⋯⋱⋯cx1,ym⋮cxm,ym⎦ ⎤式中, c x i , y i = E { [ x i ( ξ ) − μ x i ] [ y j ( ξ ) − μ y j ] ∗ } c_{x_{i},y_{i}}=E \left \{ [x_{i} (\xi)-\mu_{x_{i} }][y_{j} (\xi)-\mu_{y_{j}}]^{* } \right \} cxi,yi=E{[xi(ξ)−μxi][yj(ξ)−μyj]∗}是随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)之间的互协方差。
比较互相关矩阵和互协方差矩阵的定义可知,若两个随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)和 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)均具有零均值向量,则其互相关矩阵与互协方差矩阵等价。因此对于具有零均值向量的两个随机向量而言,它们之间的统计不相关与正交等价。
- 互相关矩阵与互协方差矩阵之间存在如下关系 C x y = R x y − μ ⃗ x μ ⃗ y H \mathbf{C} _{xy}=\mathbf{R} _{xy} -\vec{\mu} _{x}\vec{\mu} _{y}^{\mathrm{H} } Cxy=Rxy−μxμyH
- 可以证明,一个随机向量的自相关矩阵和自协方差矩阵均为 H e r m i t i a n Hermitian Hermitian矩阵,但两个随机变量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)与 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)(即使维数相同)的互相关矩阵和互协方差矩阵均不是复共轭对称矩阵。