1、实高斯随机标量
对于标准正态分布的随机变量
w
∼
N
(
0
,
1
)
w\sim {\mathcal N}(0,1)
w∼N(0,1),其PDF为
p
(
w
)
=
1
2
π
exp
(
−
w
2
2
)
,
w
∈
R
.
p(w)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{w^2}{2}),\ w\in {\mathcal R}.
p(w)=2π1exp(−2w2), w∈R.
对于一般的正态分布随机变量
x
=
σ
w
+
μ
x=\sigma w+\mu
x=σw+μ,有
x
∼
N
(
μ
,
σ
2
)
x\sim {\mathcal N}(\mu,\sigma^2)
x∼N(μ,σ2),其PDF为
p
(
x
)
=
1
2
π
σ
2
exp
(
−
(
x
−
μ
)
2
2
σ
2
)
,
x
∈
R
.
p(x)=\frac{1}{\sqrt{2\pi \sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2}),\ x\in {\mathcal R}.
p(x)=2πσ21exp(−2σ2(x−μ)2), x∈R.
Q函数的一种上下界
1 2 π a ( 1 − 1 a 2 ) e − a 2 / 2 < Q ( a ) < e − a 2 / 2 , a > 1. \frac{1}{\sqrt{2\pi} a}(1-\frac{1}{a^2}) e^{-a^2/2}<Q(a)<e^{-a^2/2},\quad a>1. 2πa1(1−a21)e−a2/2<Q(a)<e−a2/2,a>1.
高斯随机变量的线性组合仍然满足高斯分布,即
Σ i = 1 n c i x i ∼ N ( Σ i = 1 n c i μ i , Σ i = 1 n c i 2 σ i 2 ) . \Sigma^{n}_{i=1}c_ix_i\sim {\mathcal N}\left(\Sigma^{n}_{i=1}c_i\mu_i,\Sigma^{n}_{i=1}c_i^2\sigma_i^2 \right). Σi=1ncixi∼N(Σi=1nciμi,Σi=1nci2σi2).
2、实高斯随机向量
对于标准正态分布的随机向量
w
=
[
w
1
,
w
2
,
…
,
w
n
]
T
{\bf w}=[w_1,w_2,\ldots,w_n]^{\rm T}
w=[w1,w2,…,wn]T,其PDF为
p
(
w
)
=
1
(
2
π
)
n
exp
(
−
∣
∣
w
∣
∣
2
2
)
,
w
∈
R
n
,
p({\bf w})=\frac{1}{(\sqrt{2\pi })^n}\exp(-\frac{||{\bf w}||^2}{2}),\ w\in {\mathcal R^n},
p(w)=(2π)n1exp(−2∣∣w∣∣2), w∈Rn,
其中
∣
∣
w
∣
∣
:
=
w
1
2
+
w
2
2
+
…
+
w
n
2
||{\bf w}||:=\sqrt{w_1^2+w_2^2+\ldots+w_n^2}
∣∣w∣∣:=w12+w22+…+wn2为从原点到
w
\bf w
w的距离。显然,概率密度函数只与向量的幅度有关。
如果 w \bf w w为标准正态分布,则 O w \bf Ow Ow也为标准正态分布。其中 O \bf O O为正交变换。这是因为正交变换不改变向量的幅度。这意味着 w \bf w w在任何正交基上都满足相同的分布。
n
n
n个i.i.d.的零均值高斯分布的随机变量的和的平方满足卡方分布,即
∣
∣
w
∣
∣
2
∼
χ
n
2
||{\bf w}||^2\sim \chi^2_n
∣∣w∣∣2∼χn2。如果
n
=
2
n=2
n=2,且
a
=
w
1
2
+
w
2
2
a=w_1^2+w_2^2
a=w12+w22,则
f
(
a
)
=
1
2
exp
(
−
a
2
)
,
a
≥
0
,
f(a)=\frac{1}{2}\exp (-\frac{a}{2}),\quad a\ge 0,
f(a)=21exp(−2a),a≥0,
即满足指数分布。
对于高斯分布的随机向量 x = A w + μ {\bf x=Aw+\bm{\mu}} x=Aw+μ,其性质说明如下:
- c T x ∼ N ( c T μ , c T A A T c ) \bf c^{\rm T}\bf x\sim {\mathcal N}(\bf c^{\rm T}\bm \mu,\bf c^{\rm T}\bf A A^{\rm T} c) cTx∼N(cTμ,cTAATc)
-
p
(
x
)
=
1
(
2
π
)
n
det
(
A
A
T
)
exp
[
−
1
2
(
x
−
μ
)
T
(
A
A
T
)
−
1
(
x
−
μ
)
]
,
x
∈
R
n
p({\bf x})=\frac{1}{(\sqrt{2\pi})^n\sqrt{\det({\bf A A}^{\rm T})}}\exp[-\frac{1}{2}(\bf x- \bm \mu)^{\rm T}{(\bf A A^{\rm T})^{-1}}(\bf x- \bm \mu)],\quad x\in{\mathcal R}^n
p(x)=(2π)ndet(AAT)1exp[−21(x−μ)T(AAT)−1(x−μ)],x∈Rn
这里
K : = E [ ( x − μ ) ( x − μ ) T ] = A A T {\bf K}:={\rm E}[(\bf x- \bm \mu)(\bf x- \bm \mu)^{\rm T}]={\bf A A^{\rm T}} K:=E[(x−μ)(x−μ)T]=AAT
为 x \bf x x的协方差矩阵。
如果 A \bf A A为可逆的,则 x \bf x x完全由其均值向量 μ \rm \mu μ及其协方差阵 K = A A T {\bf K}=\bf AA^{\rm T} K=AAT来刻画。
3、复高斯随机向量
对于复高斯随机向量
x
=
x
R
+
j
x
I
{\bf x}={\bf x}_R+j{\bf x}_I
x=xR+jxI,有
μ
:
=
E
[
x
]
{\bm \mu}:={\rm E}[\bf x]
μ:=E[x]
K
:
=
E
[
(
x
−
μ
)
(
x
−
μ
)
H
]
{\bm K}:={\rm E}[(\bf x-\bm \mu)(\bf x-\bm \mu)^{\rm H}]
K:=E[(x−μ)(x−μ)H]
J
:
=
E
[
(
x
−
μ
)
(
x
−
μ
)
T
]
{\bm J}:={\rm E}[(\bf x-\bm \mu)(\bf x-\bm \mu)^{\rm T}]
J:=E[(x−μ)(x−μ)T]
分别为
x
\bf x
x的均值向量、协方差以及伪协方差矩阵。
注意通常来说, K \bf K K不足以刻画 x \bf x x的所有二阶特性。事实上,由于 K \bf K K为厄米特矩阵,即 K = K H \bf K=K^{\rm H} K=KH,其对角线元素为实数,且上下三角阵的元素互为复共轭。因此包含 n 2 n^2 n2个实参数。另一方面, x \bf x x的完全二阶特性应该用 2 n × 2 n 2n\times 2n 2n×2n维 [ x R , x I ] T [{\bf x}_R,{\bf x}_I]^{\rm T} [xR,xI]T的协方差矩阵中的 n ( 2 n + 1 ) n(2n+1) n(2n+1)个实参数来刻画。
【循环对称性】我们称 x \bf x x为循环对称的,如果对于任意的 θ \theta θ都有 x e j θ {\bf x}e^{j\theta} xejθ与 x \bf x x同分布。
对于循环对称复随机向量
x
\bf x
x,有
E
[
x
]
=
E
[
e
j
θ
x
]
=
e
j
θ
E
[
x
]
{\rm E}[\bf x]={\rm E}[\bf e^{j\theta}x]=e^{j\theta}{\rm E}[\bf x]
E[x]=E[ejθx]=ejθE[x]
对任意的
θ
\theta
θ均成立,因此
μ
=
E
[
x
]
=
0
{\bm \mu}={\rm E}[\bf x]=0
μ=E[x]=0。进一步,
E
[
x
x
T
]
=
E
[
e
j
2
θ
x
x
T
]
=
e
j
2
θ
E
[
x
x
T
]
{\rm E}[{\bf xx}^{\rm T}]={\rm E}[ e^{j2\theta}{\bf xx}^{\rm T}]=e^{j2\theta}{\rm E}[{\bf xx}^{\rm T}]
E[xxT]=E[ej2θxxT]=ej2θE[xxT]
对任意的
θ
\theta
θ均成立,因此
J
=
0
{\bf J}={\bf 0}
J=0。此时,协方差阵
K
\bf K
K可以完全刻画循环对称复随机向量
x
\bf x
x的一阶以及二阶特性。事实上,如果
x
\bf x
x为高斯分布的,则其协方差阵可以完全刻画其统计特性,此时
x
∼
C
N
(
0
,
K
)
{\bf x}\sim {\mathcal CN}(0,\bf K)
x∼CN(0,K)。
几个特例如下:
(1)对于复高斯随机变量 w = w R + j w I w=w_R+jw_I w=wR+jwI,如果 w R w_R wR以及 w I w_I wI为i.i.d.的零均值高斯随机变量,则 w w w为循环对称,其统计特性可以用方差 σ 2 : = E [ ∣ w ∣ 2 ] \sigma^2:={\rm E}[|w|^2] σ2:=E[∣w∣2]来刻画。(需要注意的是,一个非循环对称的高斯随机变量需要用五个实参数来刻画,即实部和虚部的均值以及方差,还有实部虚部的相关值。)这里 ∣ ∣ w ∣ ∣ 2 ||\bf w||^2 ∣∣w∣∣2满足指数分布, ∣ ∣ w ∣ ∣ ||\bf w|| ∣∣w∣∣满足瑞利分布, w \bf w w的相位在 [ 0 , 2 π ] [0,2\pi] [0,2π]上均匀分布。
(2) n n n个i.i.d.满足 C N ( o 0 , 1 ) {\mathcal CN}(o0,1) CN(o0,1)分布的随机变量组成标准循环对称高斯随机向量 w ∼ C N ( 0 , I ) \bf w\sim {\mathcal CN}(\bf 0,I) w∼CN(0,I),其PDF为
p ( w ) = 1 π n exp ( − ∣ ∣ w ∣ ∣ 2 ) , ∈ C n . p({\bf w)}=\frac{1}{\pi^n}\exp(-||w||^2),\quad \bf\in \mathcal{C}^n. p(w)=πn1exp(−∣∣w∣∣2),∈Cn.
若 U \bf U U为酉矩阵,则 U w \bf Uw Uw与 w \bf w w同分布。