高斯随机变量

高斯随机变量

标量实高斯随机变量

标准高斯随机变量$\omega$

实数域上的标准高斯变量$\omega$的概率密度函数:
$$f(\omega )=\frac{1}{\sqrt{2\pi }}exp(-\frac{{\omega }_2}{2}),\omega \in \mathfrak{R}$$

• 均值:$0$
• 方差:$1$

(一般的)高斯随机变量$x$

$$x=\sigma \omega +\mu$$

• 均值:$\mu$
• 方差:$\sigma$

$x$对应的概率密度函数:
$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2}),x\in \mathfrak{R}$$

随机变量的符号表示

由于随机变量完全由均值和方差所特征化,因此可以由以下形式表示
$$\begin{gathered} \omega \sim \mathcal{N}(0,1) \\ x\sim \mathcal{N}(\mu ,\sigma ) \end{gathered}$$

高斯随机变量的尾部

$$Q(a)=\mathbb{P}(\omega >a)$$

特点:指数级衰落

高斯性的属性

通过线性变换保持不变
$${\Sigma }_{i=1}^{\infty }{c}_i{x}_i\sim \mathcal{N}({\Sigma }_{i=1}^{\infty }{c}_i{\mu }_i,{\Sigma }_{i=1}^{\infty }{c}_i^2{\mu }_i^2)$$

实高斯随机矢量

正交矩阵

定义

若实矩阵$A$满足$A{A}^T=A^{T}A=I$,则称$A$为正交矩阵

性质

• $A^{-1}=A^T$

• $|A|=\pm 1$

• 正交矩阵的乘积也是正交矩阵

  设$A^{T}A=A{A}^T=I,B{B}^T=B^{T}B=I$,则

  ​ $(AB{)}^T(AB)=B^T(A^{T}A)B=B^{T}B=I$

• $A$为正交矩阵$\iff A$​的行(列)向量组都是规范正交向量组
  $$\begin{gathered} 设A=\left(\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ .\\ x_n\end{array}\right),A^T=(x_1^T,x_2^T,...,x_n^T),则 \\ A{A}^T=\left(\begin{array}{ccccc}{x}_1{x}_1^T& x_1{x}_2^T& .& .& x_1{x}_n^T\\ x_2{x}_1^T& x_2{x}_2^T& .& .& x_2{x}_n^T\\ .& .& .& .& .\\ .& .& .& .& .\\ x_n{x}_1^T& x_n{x}_2^T& .& .& x_n{x}_n^T\end{array}\right)=I \\ \iff a_i{a}_i^T=1,a_i{a}_j^T=0(i\ne j) \\ \iff (a_i,a_i)=1,(a_i,a_j)=0(i\ne j) \end{gathered}$$

• 正交矩阵保持向量长度不变

  设$\alpha$为$n$维列向量,$A$为$n$阶正交矩阵,证明$\parallel A\alpha \parallel =\parallel \alpha \parallel$
  KaTeX parse error: No such environment: eqnarray at position 68: …_t)^T \\ \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ A\alpha & = &(…

标准高斯随机矢量

标准高斯随机矢量$\omega$是由$n$个独立同分布的标准高斯随机变量${\omega }_1,{\omega }_2,...,{\omega }_n$组成,矢量$\omega =({\omega }_1,{\omega }_2,...,{\omega }_n)$的概率密度函数
$$f(\omega )=\frac{1}{(\sqrt{2\pi }{)}^n}exp(-\frac{\parallel \omega \parallel }{2}),\omega \in {\mathfrak{R}}^{\mathfrak{n}}$$

重要结论

对于正交矩阵$A$来说,如果$\omega$服从标准高斯分布,则$A\omega$​也服从标准高斯分布

原因:

• 从代数角度

  • 乘法不会改变随机变量的均值

  • 密度函数仅仅与自变量的模有关,而正交矩阵不会改变向量的二阶范数(方差)

• 从几何角度

  • 正交变换不会改变原图形的几何形状,能够保持原图形的空间不变性
  • 只是对原图形进行旋转操作

标准高斯随机矢量在正交方向上的投影相互独立

原因:

设$v_1=(a_1,a_2,...,a_n{)}^T,v_2=(b_1,b_2,...,b_n{)}^T$为两个正交方向($n\times 1$),$\omega =({\omega }_1,{\omega }_2,...,{\omega }_n{)}^T$为标准高斯随机矢量($n\times 1$),$\omega$在两个方向上的投影(标量)分别是$$\begin{gathered} X_1=v_1\cdot \omega =v_1^T\omega =\Sigma a_i{\omega }_i, \\ {X}_2=v_2\cdot \omega =v_2^T\omega =\Sigma b_i{\omega }_i \end{gathered}$$,
又知两个随机变量相互独立的充要条件是协方差为0
$Cov(X_1,X_2)=E[(X_1-E[X_1])(X_2-E[X_2]{)}^T]$
又知道对于上述$X_1{X}_2$都是标量,期望为0,
故有:
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ Cov(X_1, X_2) …

$\parallel \omega {\parallel }^2$的分布

$\parallel \omega {\parallel }^2$等于$n$个独立同分布的零均值高斯随机变量的平方和,为自由度为$n$的${\chi }_n^2$分布

• 推导

高斯随机矢量

定义

高斯随机矢量是标准高斯随机矢量的线性变换再加上一个常矢量
$$x=A\omega +\mu$$

协方差矩阵(方差)

协方差矩阵的推导

KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ K=Cov(x, x) & …

协方差矩阵的意义

对于$x=(x_1,x_2,...,x_n{)}^T$这样的随机变量
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ K & = &Cov(x, …

性质

• 均值$\mu$,方差$A{A}^T$

• 标准高斯随机矢量服从均值为KaTeX parse error: Undefined control sequence: \matrix at position 1: \̲m̲a̲t̲r̲i̲x̲{0},方差为$I$的高斯随机矢量

• 对于任意的$c,x\in {\mathfrak{R}}^{\mathfrak{n}}$,都有$c^{T}x\sim \mathcal{N}(c_T\mu ,c^{t}A{A}^{T}c)$

  理解:$c_{T}x$是$c$与$x$的内积,是一个标量,线性组合的结果是一个标量,$c_t\mu$和$c^{t}A{A}^{T}c$均为标量

• 如果$A$是可逆矩阵,概率密度函数为
  $$f(x)=\frac{1}{{\sqrt{2\pi }}^n\sqrt{det(A{A}^T)}}exp(-\frac{1}{2}(x-\mu {)}^T(A{A}^T{)}^{-1}(x-\mu ))$$

推论

• 可以只用协方差矩阵$A{A}^T$表征$x$的密度

• 设正交矩阵$O$,$x_1=A\omega + \mu $与$ x_2=AO\omega + \mu$ 分布相同
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ K_1=Cov(x_1, x…

• 协方差矩阵为对角矩阵时,高斯随机矢量由独立的高斯随机变量组成

• 协方差矩阵是单位阵的时候,高斯随机矢量由标准高斯随机变量组成

复高斯随机矢量

共轭转置

设有矩阵$G$,其共轭转置矩阵可以表示为$G^H$

他是在转置的基础上,对每个元素取复共轭

形式

复高斯随机矢量$x$的形式如下面的公式所示
$$x=x_R+j{x}_I$$
其中$x_R$和$x_I$都是实矢量

复高斯随机矢量是指满足$[x_R,x_I{]}^T$为实高斯随机矢量的矢量,分布由均值和协方差矩阵确定

重要参数

KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \mu: & = &E[x]…

注意:复随机矢量$x$的协方差矩阵$K$本身通常不足以确定$x$的全部二次统计量

$K$可以由$n^2$个实参数确定,而全部二阶统计量需要用$n(2n+1)$​个实参数确定

复高斯随机矢量通常由五个参数确定:实部与虚部的均值和方差,实部与虚部的相关性

循环对称性

对于任意$\theta$,如果$e^{j\theta }x$与$x$​具有相同的分布,则x为循环对称的

理解:$e^{j\theta }$是一个旋转因子,如果对于任意的旋转角度分布相同,当然具有循环对称性

循环对称复高斯随机矢量

性质

对于任意$\theta$,循环对称复高斯随机矢量$x$,都有:

$\mu =E(x)=E(e^{j\theta }x)=e^{j\theta }E(x)$​

$J=E[(x-\mu )(x-\mu {)}^T]=E(x{x}^T)=E(e^{j\theta }x(e^{j\theta }x{)}^T)=e^{j2\theta }E(x{x}^T)$

• 均值$\mu$为$0$​

  反证法:

  假设均值$\mu$不是0,若满足$E(x)=e^{j\theta }E(x)$,则对于任意的旋转角度$\theta$,都要有$e^{j\theta -1}$为0,矛盾

• 伪协方差矩阵$J$为$0$​

  证明同上

• 协方差矩阵$K$​完全确定循环对称矢量的一阶和二阶统计量

表示

$$\mathcal{C}\mathcal{N}(0,K)$$

特殊情况

• 实部和虚部为独立同分布的零均值高斯随机变量时,复高斯随机变量循环对称

• 由n个相互独立的服从同一分布$\mathcal{C}\mathcal{N}(0,1)$的随机变量构成的标准循环对称随机矢量可以表示为$\mathcal{C}\mathcal{N}(0,I)$

• 如果$\omega$为$\mathcal{C}\mathcal{N}(0,I)$,$A$为复矩阵,则$x=A\omega$也是协方差矩阵$K=A{A}^H$的循环对称高斯矢量,即服从$\mathcal{C}\mathcal{N}(0,K)$