复随机变量及高斯熵的概念

复随机变量

复随机信号

复随机信号$\mathbf{x}$的概率分布函数pdf为:
$$p_x(\mathbf{x})=p_x(x_r+j{x}_i)$$
对函数求其期望值有$g:N\to C^N$,其中复随机信号$bfx$的取值在定义域$N$中。
$$E(g(\mathbf{x}))=E(Re[g(\mathbf{x})])+jE(Im[g(\mathbf{x})])$$
一般假设其均值为零。

复随机变量的二阶统计特性

考虑复随机变量$\mathbf{x}=x_r+j{x}_i$的二阶统计特性。简化表示使用两个实数表示$x_R=[x_r^T,x_i^T{]}^T$。故其信号的协方差矩阵可以表示为：
$$C_{x_R{x}_R}=E\left\{x_R{x}_R^T\right\}=\left[\begin{array}{cc}{C}_{x_r{x}_r}& C_{x_r{x}_i}\\ C_{x_r{x}_i}^T& C_{x_i{x}_i}\end{array}\right]$$
对于其增强协方差矩阵
$$C_{aug}=E\left\{\mathbf{x}{\mathbf{x}}^H\right\}={\mathbf{U}}_{\mathbf{N}}{\mathbf{C}}_{{\mathbf{x}}_{\mathbf{R}}{\mathbf{x}}_{\mathbf{R}}}{\mathbf{U}}_{\mathbf{N}}^{\mathbf{H}}=\left[\begin{array}{cc}{C}_{xx}& {\tilde{C}}_{xx}\\ {\tilde{C}}_{xx}^{\ast }& C_{xx}^{\ast }\end{array}\right]={\mathbf{C}}_{\mathbf{a}\mathbf{u}\mathbf{g}}^{\mathbf{H}}$$
其中Hermit矩阵有
$$C_{xx}=E\left\{\mathbf{x}{\mathbf{x}}^H\right\}=C_{x_r{x}_r}+C_{x_i{x}_i}+j(C_{x_r{x}_i}^T-C_{x_i{x}_i})=C_{xx}^H$$
$${\tilde{C}}_{xx}=E\left\{\mathbf{x}{\mathbf{x}}^T\right\}=C_{x_r{x}_r}-C_{x_r{x}_i}+j(C_{x_i{x}_i}^T-C_{x_i{x}_i})={\tilde{C}}_{xx}^T$$
称${\tilde{C}}_{xx}$为伪协方差矩阵，当其为零时，其复信号称为不失真信号，反之为失真信号。
可以得到复信号$x$为不失真信号的充分必要条件为复信号的实部$x_r$和虚部$x_i$的协方差矩阵和伪协方差矩阵均满足$C_{x_r{x}_r}=C_{x_i{x}_i}$和$C_{x_r{x}_i}=-C_{x_r{x}_i}^T$
则当其复信号为不失真信号时，其hermit协方差矩阵为
$$C_{xx}=2C_{x_r{x}_r}-2j{C}_{x_r{x}_i}=2C_{x_i{x}_i}+2j{C}_{x_r{x}_i}^T$$
同时其如果是一个标量信号时，其信号的方差是虚部方差和实部方差的两倍：
$${\sigma }_x^2=2{\sigma }_{x_r}^2=2{\sigma }_{x_i}^2$$
当一个复随机变量的概率分布的旋转不变的，则称其为圆的。
可以得到只有当复高斯随机信号$x$为非失真函数且均值为0时其才为圆信号。

圆系数和高斯熵

圆系数

描述圆信号的圆的程度，圆度系数。
近似的求解复信号的非圆度系数和圆度系数：
ρ = E { x 2 } E { ∣ x 2 ∣ } \rho = \frac{E\left\{x^2\right\}}{E\left\{\left | x^2\right |\right\}} ρ=E{∣x2∣}E{x2}​
满足非圆系数$0<\rho <1$。
当其为圆信号时，$E\left\{x^2\right\}=0$。当非圆程度越高，其$E\left\{x^2\right\}$的值就越接近于$E\left\{\left|x^2\right|\right\}$的值，非圆系数越接近于1。

高斯熵

根据香农的信息论，信息熵是描述一个信息的信息量大小和信息的不确定性之间的关系。同样地假设一个离散随机变量$x$，其概率密度函数为$f(x)$，根据信息论其自信息量为$I(x)=-\log f(x)$，其平均信息量为：
$$H(x)=-\int f(x)\log f(x)dx$$
其中$H(x)$被称为随机变量的熵。
对于复随机信号，可以根据上述的定义得到一个含增强协方差矩阵的熵：
$$H(X)=\frac{1}{2}\log [(\pi e{)}^{2N}\det C_{aug}]$$
其中，$\det C_{aug}={\det }^2{C}_{xx}\det (1-K{K}^H)={\det }^2{C}_{xx}{\prod }_{n=1}^N(1-k_n^2)$

对于一个非圆的复高斯随机信号的熵可以改写为如下公式：
$$H_{noncir}=\frac{1}{2}\log [(\pi e{)}^{2N}\det C_{aug}]=\log [(\pi e{)}^{2N}\det C_{xx}]+\frac{1}{2}\log \prod _{n=1}^N(1-k_n^2)$$
当复随机信号为圆时，其熵最大。
为了计算的方便和使用，给出另外一个高斯熵的定义方法

• 高斯熵的定义2：假设复随机信号为$\mathbf{x}=x_R+j{x}_I$，可以得到其熵的定义为：
  H ( x ) ≜ H ( x , x ∗ ) = − E { log ⁡ p ( x , x ∗ ) } H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} H(x)≜H(x,x∗)=−E{logp(x,x∗)}
  将其视为两个独立的随机变量，可以得到其概率密度函数
  $$p(x)=p(x,x^{\ast })=\frac{1}{\pi \sqrt{\det \Pi }}exp(-{\left[\begin{array}{c}x\\ x^{\ast }\end{array}\right]}^H{\Pi }^{-1}\left[\begin{array}{c}x\\ x^{\ast }\end{array}\right]/2)$$
  $$\Pi =\left[\begin{array}{cc}E\left\{\left|x^2\right|\right\}& E\left\{x^2\right\}\\ E\left\{(x^2{)}^{\ast }\right\}& E\left\{\left|x^2\right|\right\}\end{array}\right]$$
  其中$\Pi$是$[x,x^{\ast }{]}^T$的协方差。将上述两式结合可以得到高斯熵的定义：
  H ( x ) ≜ H ( x , x ∗ ) = − E { log ⁡ p ( x , x ∗ ) } = 1 + log ⁡ ( π ) + 1 2 [ E 2 { ∣ x 2 ∣ } − ∣ E { x 2 } ∣ 2 ] H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} \\ =1+\log{(\pi)}+\frac{1}{2}[E^2\left\{\left | x^2\right |\right\} -\left |E\left\{x^2\right\}\right |^2] H(x)≜H(x,x∗)=−E{logp(x,x∗)}=1+log(π)+21​[E2{∣∣​x2∣∣​}−∣∣​E{x2}∣∣​2]