【随机过程】9 - 高斯分布及其非线性性质

高斯分布及其非线性性质

1. 概述

  前面介绍了高斯分布和高斯的一些线性性质。这里会针对高斯分布的非线性变换进行介绍。也就是一个高斯分布，应该非线性变换之后，会得到具有怎么样的统计特性的函数。这里我们会介绍这样的一些非线性变换：多项式、分段线性、指数函数和三角函数

$$\begin{gathered} \text{(1) Polynonial} \\ \text{(2) Precewise Linear} \\ \text{(3) Exponential} \\ \text{(4) Triangometry} \end{gathered}$$

2. Polynonial

2.1 高阶矩

  在多项式非线性变换中，需要用到高斯过程的高阶矩这个工具，因此我们首先介绍一下高斯过程的高阶矩

2.1.1 一维高斯的高阶矩

  首先介绍一维高斯的高阶矩

$$\begin{gathered} \text{High Order} \\ Z\sim N(0,{\sigma }^2) \\ {f}_Z(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{x^2}{2{\sigma }^2}) \\ E(Z^k)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }{x}^{k}exp(-\frac{x^2}{2{\sigma }^2})dx \end{gathered}$$

  我们要求后面的积分

$$\text{Let }{I}_n={\int }_{-\infty }^{+\infty }{x}^{k}exp(-\frac{x^2}{2{\sigma }^2})dx$$

  可以使用分部积分

$$\begin{gathered} I_n={\int }_{-\infty }^{+\infty }{x}^{k}exp(-\frac{x^2}{2{\sigma }^2})dx \\ =-{\sigma }^2{\int }_{-\infty }^{+\infty }{x}^{k-1}dexp(-\frac{x^2}{2{\sigma }^2}) \\ =-{\sigma }^2{x}^{k-1}exp(-\frac{x^2}{2{\sigma }^2}){|}_{-\infty }^{+\infty }+{\sigma }^2{\int }_{-\infty }^{+\infty }exp(-\frac{x^2}{2{\sigma }^2})d{x}^{k-1}=(k-1){\sigma }^2{\int }_{-\infty }^{+\infty }{x}^{k-2}exp(-\frac{x^2}{2{\sigma }^2})dx \end{gathered}$$

  由于分部积分前一段中，指数增长的速度远远大于多项式增长速度，因此前一半是0。后一半可以得到一个递推式

$$I_n=(k-1){\sigma }^2{I}_{n-2}$$

  因此可以得到一个分段的函数

$$\begin{gathered} E(Z^k)=\frac{1}{\sqrt{2\pi }\sigma }{I}_k=\{\begin{array}{ll}(k-1)(k-3)...1\ast {\sigma }^k& k=2m\\ 0& k=2m-1\end{array} \\ =\{\begin{array}{ll}(k-1)!!{\sigma }^k& k=2m\\ 0& k=2m-1\end{array} \end{gathered}$$

  如果k是偶数，最后能够得到一个对x⁰的积分，也就是能够得到1。而如果k是奇数，最后会得到一个一阶矩，由于已经定义了均值为0，所以，得到的期望是0。

2.1.2 多维高斯高阶矩

  我们假设

$$\begin{gathered} (Z_1,Z_2,Z_3,Z_4)\sim NE(Z_k)=0k=1,2,3,4... \\ {Z}_k\in R \end{gathered}$$

  我们假设求一个多维高斯的四阶矩,实数多维高斯具有这样的性质

$$E(Z_1{Z}_2{Z}_3{Z}_4)=E(Z_1{Z}_2)E(Z_3{Z}_4)+E(Z_1{Z}_3)E(Z_2{Z}_4)+E(Z_1{Z}_4)E(Z_2{Z}_3)$$

  多维高斯的高阶矩证明,用到下面的式子,这里只说明这个公式的正确性，不对高阶矩进行证明。

$$E(Z_1^{{\alpha }_1}...Z_1^{{\alpha }_n})=\frac{1}{j^{{\alpha }_1+...+{\alpha }_n}}\frac{{\partial }^{{\alpha }_1+{\alpha }_n}}{\partial {\omega }_1^{{\alpha }_1}...\partial {\omega }_n^{{\alpha }_n}}{\varphi }_{Z_1...Z_n}({\omega }_1,...,{\omega }_n){|}_{{\omega }_1=..={\omega }_n=0}$$
  证明

$${\varphi }_{Z_1,...,Z_n}({\omega }_1,..,{\omega }_n)=E(exp(j({\omega }_1{Z}_1+...+{\omega }_n{Z}_n)))$$

  对ω求偏导数可以得到

$$\frac{\partial {\varphi }_{Z_1,...,Z_n}({\omega }_1,..,{\omega }_n)}{\partial {\omega }_1}=E(j{Z}_{1}exp(j({\omega }_1{Z}_1+...+{\omega }_n{Z}_n)))$$

  对Z₁求α₁次导数可以得到

$$\frac{{\partial }^{{\alpha }_1}{\varphi }_{Z_1,...,Z_n}({\omega }_1,..,{\omega }_n)}{\partial {\omega }_1^{{\alpha }_1}}=E(j^{{\alpha }_1}{Z}_1^{{\alpha }_1}exp(j({\omega }_1{Z}_1+...+{\omega }_n{Z}_n)))$$

  对其他的变量也进行求导

$$\frac{{\partial }^{{\alpha }_1+{\alpha }_n}}{\partial {\omega }_1^{{\alpha }_1}...\partial {\omega }_n^{{\alpha }_n}}{\varphi }_{Z_1...Z_n}({\omega }_1,...,{\omega }_n)=E(j^{{\alpha }_1+...+{\alpha }_n}{Z}_1^{{\alpha }_1}...Z_1^{{\alpha }_n}exp(j({\omega }_1{Z}_1+...+{\omega }_n{Z}_n)))$$

  然后就可以得到我们的公式

$$\begin{gathered} E(j^{{\alpha }_1+...+{\alpha }_n}{Z}_1^{{\alpha }_1}...Z_1^{{\alpha }_n}exp(j({\omega }_1{Z}_1+...+{\omega }_n{Z}_n)))=\frac{{\partial }^{{\alpha }_1+{\alpha }_n}}{\partial {\omega }_1^{{\alpha }_1}...\partial {\omega }_n^{{\alpha }_n}}{\varphi }_{Z_1...Z_n}({\omega }_1,...,{\omega }_n) \\ E(Z_1^{{\alpha }_1}...Z_1^{{\alpha }_n})=\frac{1}{j^{{\alpha }_1+...+{\alpha }_n}}\frac{{\partial }^{{\alpha }_1+{\alpha }_n}}{\partial {\omega }_1^{{\alpha }_1}...\partial {\omega }_n^{{\alpha }_n}}{\varphi }_{Z_1...Z_n}({\omega }_1,...,{\omega }_n){|}_{{\omega }_1=..={\omega }_n=0} \end{gathered}$$

  这里补充一下，如果是六阶矩怎么求

$$E(Z_1{Z}_2{Z}_3{Z}_4{Z}_5{Z}_6)=E(Z_1{Z}_2)E(Z_3{Z}_4)E(Z_5{Z}_6)+...+$$

  因为六阶矩最大就是六阶，因此要变成三个两两相乘的形式。一共有15项，也就是(6-1)!!，与一阶矩能够形成呼应。

  而如果是奇数阶的话，会有一个一阶矩，因此最终结果是0

$$E(Z_1{Z}_2{Z}_3{Z}_4{Z}_5)=E(Z_1{Z}_2)E(Z_3{Z}_4)E(Z_5)+....$$

  如果每一个随机变量都是一样的，高阶矩就退化成了一阶矩，然后彼此之间就有呼应了。

2.2 平方器

  这里再举一个对高斯进行非线性变换的例子，让高斯通过一个平方器，看看得到的结果具有怎么样的统计特性

$$\begin{gathered} \text{Square Device} \\ Z(t)\to \boxed{z^2}\to Y(t) \end{gathered}$$

  即

$$\begin{gathered} Y(t)=Z^2(t) \\ Z(t)\text{ is Gaussian} \\ Z(t)\text{ W.S.S.} \end{gathered}$$

2.2.1 相关函数

  我们求一下Y的相关函数

$$E(Y(t)Y(s))=E(Z(t{)}^{2}Z(s{)}^2)$$

  可以利用四阶矩的性质进行化简

$$\begin{gathered} E(Y(t)Y(s))=E(Z(t{)}^{2}Z(s{)}^2)=E(Z(t)Z(t)Z(s)Z(s)) \\ =E(Z(t)Z(t))E(Z(s)Z(s))+E(Z(t)Z(s))E(Z(t)Z(s))+E(Z(t)Z(s))E(Z(t)Z(s)) \\ =R_Z(0)R_Z(0)+R_Z(t-s)R_Z(t-s)+R_Z(t-s)R_Z(t-s)=R_Z^2(0)+2R_Z^2(t-s) \end{gathered}$$

  然后我们就可以得到了Y的相关函数

2.2.2 分布函数

  我们现在来求一下分布函数

$$\begin{gathered} Y(t)=Z^2(t) \\ {F}_{Y(t)}(y)=P(Y(t)\le y)=P(Z^2(t)\le y)=\{\begin{array}{ll}P(|Z(t)|\le \sqrt{y})& y\ge 0\\ 0& \text{ y <0 }\end{array} \end{gathered}$$

  因此，即求

$$P(|Z(t)|\le \sqrt{y})=2{\int }_0^{\sqrt{y}}{f}_{Z(t)}(S)dS$$

  我们就得到了y大于0时候的分布函数。现在要求概率密度，即对分布函数进行求导

$$\begin{gathered} f_{Y(t)}(y)=\frac{d}{dy}{F}_{Y(t)}(y) \\ =\frac{d}{dy}2{\int }_0^{\sqrt{y}}{f}_{Z(t)}(S)dS \\ =2\ast \frac{1}{2\sqrt{y}}{f}_{Z(t)}(\sqrt{y}) \\ =\frac{1}{\sqrt{y}}{f}_{Z(t)}(\sqrt{y}) \\ =\frac{1}{\sqrt{2\pi R_Z(0)y}}exp(-\frac{y}{2R_Z(0)})y\ge 0 \end{gathered}$$

  高斯平方的分布是gamma函数

$$\text{Gamma(Chi-Square)}$$

3. Precewise Linear

3.1 硬限幅器(极化)

$$\text{Hard Limiter(Polarization)}$$

3.1.1 定义

  硬限幅器就是对信号取极性

$$g(x)=sgn(x)=\{\begin{array}{ll}1& x>0\\ 0& x=0\\ -1& x<0\end{array}$$

  我们看看高斯分布通过这个线性系统会得到什么样的结果

$$Z(t)\to \boxed{g}\to Y(t)$$

3.1.2 相关函数

  我们来探究一下，高斯过程通过硬限幅器之后的相关函数如何

$$R_Y(t,s)=E(Y(t)Y(s))=E(g(Z(t))g(Z(s)))$$

  我们假设Z(t),Z(s)服从联合高斯

$$(Z(t),Z(s))\sim N(0,0,{\sigma }_1^2,{\sigma }_2^2,\rho )$$

  连续因为高斯分布等于0的概率是0，所以只需要计算大于和等于0的情况即可。而这个期望可以分成两个随机变量乘积大于0和乘积小于0两种情况

$$E(g(Z(t))g(Z(s)))=1\ast P(Z(t)Z(s)>0)+(-1)P(Z(t)Z(s)<0)$$

  两个随机变量乘积大于0和乘积小于0的概率取决于这两个随机变量的相关性如何。我们来计算乘积大于0的情况，也就是随机变量在一三象限的积分

$$\begin{gathered} P(Z(t)Z(s)>0)=({\int }_0^{\infty }{\int }_0^{\infty }+{\int }_{-\infty }^0{\int }_{-\infty }^0)f_{Z(t)Z(s)}(x_1,x_2)d{x}_{1}d{x}_2 \\ =\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{(1-{\rho }^2)}}({\int }_0^{\infty }{\int }_0^{\infty }+{\int }_{-\infty }^0{\int }_{-\infty }^0)exp(-\frac{1}{2(1-{\rho }^2)}((\frac{x_1}{{\sigma }_1}{)}^2+(\frac{x_2}{{\sigma }_2}{)}^2-2\rho (\frac{x_1}{{\sigma }_1})(\frac{x_2}{{\sigma }_2})))d{x}_{1}d{x}_2 \end{gathered}$$

  合并积分象限，因为一象限和三象限是对称的

$$=\frac{1}{\pi {\sigma }_1{\sigma }_2\sqrt{(1-{\rho }^2)}}({\int }_0^{\infty }{\int }_0^{\infty })exp(-\frac{1}{2(1-{\rho }^2)}((\frac{x_1}{{\sigma }_1}{)}^2+(\frac{x_2}{{\sigma }_2}{)}^2-2\rho (\frac{x_1}{{\sigma }_1})(\frac{x_2}{{\sigma }_2})))d{x}_{1}d{x}_2$$

  第一次换元

$$\begin{gathered} \text{Let }\frac{x_1}{{\sigma }_1}=y_1\frac{x_2}{{\sigma }_2}=y_2 \\ \text{Then} \\ =\frac{1}{\pi \sqrt{(1-{\rho }^2)}}({\int }_0^{\infty }{\int }_0^{\infty })exp(-\frac{1}{2(1-{\rho }^2)}(y_1^2+y_2^2-2\rho y_1{y}_2)d{y}_{1}d{y}_2 \end{gathered}$$

  进行第二次换元，解决交叉项

• 计算积分变量

$$\begin{gathered} \text{Let }{y}_1=u_1+u_2{y}_2=u_1-u_2 \\ \text{Then } \\ {y}_1^2+y_2^2=2(u_1^2+u_2^2) \\ 2y_1{y}_2=2(u_1^2-u_2^2) \end{gathered}$$

• 计算微元

$$\begin{gathered} d{y}_{1}d{y}_2=|det\frac{\partial (y_1,y_2)}{\partial (u_1,u_2)}|d{u}_{1}d{v}_1=|det\left(\begin{array}{cc}\frac{\partial y_1}{\partial u_1}& \frac{\partial y_1}{\partial u_2}\\ & \\ \frac{\partial y_1}{\partial u_2}& \frac{\partial y_2}{\partial u_2}\end{array}\right)| \\ =|det\frac{\partial (y_1,y_2)}{\partial (u_1,u_2)}|d{u}_{1}d{v}_1=|det\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)|d{u}_{1}d{v}_1 \\ =|-2|d{u}_{1}d{u}_2=2d{u}_{1}d{u}_2 \end{gathered}$$

• 计算积分区域

  只需要找两个边界上的点，就可以表征积分区域的变化

$$\begin{gathered} \frac{1}{\pi \sqrt{(1-{\rho }^2)}}({\int }_0^{\infty }{\int }_0^{\infty })exp(-\frac{1}{2(1-{\rho }^2)}(y_1^2+y_2^2-2\rho y_1{y}_2)d{y}_{1}d{y}_2 \\ =\frac{2}{\pi \sqrt{(1-{\rho }^2)}}\int \int exp(-(\frac{u_1^2+u_2^2}{(1-{\rho }^2)}-\frac{(u_1^2-u_2^2)\rho }{(1-{\rho }^2)}))d{u}_{1}d{u}_2 \\ =\frac{2}{\pi \sqrt{(1-{\rho }^2)}}\int \int exp(-(\frac{u_1^2}{(1+\rho )}+\frac{u_2^2}{(1-\rho )}))d{u}_{1}d{u}_2 \end{gathered}$$

  第三次换元

• 计算积分变量

$$\begin{gathered} \text{Let}{u}_1^{\prime }=\frac{u_1}{\sqrt{1+\rho }} \\ {u}_2^{\prime }=\frac{u_2}{\sqrt{1-\rho }} \end{gathered}$$

• 计算微元

$$d{u}_{1}d{u}_2=\sqrt{1-{\rho }^2}d{u}_1^{\prime }d{u}_2^{\prime }$$

• 计算积分区域

$$\begin{gathered} \frac{2}{\pi \sqrt{(1-{\rho }^2)}}\int \int exp(-(\frac{u_1^2}{(1+\rho )}+\frac{u_2^2}{(1-\rho )}))d{u}_{1}d{u}_2 \\ =\frac{2}{\pi }\int \int exp(-(u_1^{\prime 2}+u_2^{\prime 2}))d{u}_1^{\prime }d{u}_2^{\prime } \end{gathered}$$

  第四次换元，使用极坐标

$$\begin{gathered} \text{Let }{u}_1^{\prime }=rcos\theta u_2^{\prime }=rsin\theta \\ \text{Then } \\ \frac{2}{\pi }\int \int exp(-(u_1^{\prime 2}+u_2^{\prime 2}))d{u}_1^{\prime }d{u}_2^{\prime } \\ =\frac{2}{\pi }{\int }_0^{+\infty }{\int }_{-\varphi }^{+\varphi }exp(-r^2)rdrd\theta \\ =\frac{1}{\pi }{\int }_{-\varphi }^{+\varphi }d\theta =\frac{2\varphi }{\pi } \end{gathered}$$

  其中

$$tan(\theta )=\sqrt{\frac{1}{1-\rho }}/\sqrt{\frac{1}{1+\rho }}=\sqrt{\frac{1+\rho }{1-\rho }}$$

  因此

$$P(Z(t)Z(s)>0)=\frac{2}{\pi }arctan\sqrt{\frac{1+\rho }{1-\rho }}$$

  万能公式化简

$$cos(2\varphi )=\frac{1-ta{n}^2\varphi }{1+ta{n}^2\varphi }=\frac{1-\frac{1+\rho }{1-\rho }}{1+\frac{1+\rho }{1-\rho }}=-\rho$$

  即

$$P(Z(t)Z(s)>0)=\frac{1}{\pi }arccos(-\rho )$$

  继续使用反三角函数的性质

$$\begin{gathered} arcsinx+arccosx=\frac{\pi }{2} \\ arccos(-\rho )=\frac{\pi }{2}-arcsin(-\rho )=\frac{\pi }{2}+arcsin(\rho ) \\ P(Z(t)Z(s)>0)=\frac{1}{2}+\frac{1}{\pi }arcsin(\rho ) \\ P(Z(t)Z(s)>0)=\frac{1}{2}-\frac{1}{\pi }arcsin(\rho ) \end{gathered}$$

  得到的这个结果叫做

$$\text{Arcsin Law}$$

  当相关系数为0的时候，也就是椭圆是正的时候，大于0和小于0的概率相同，都是二分之一

  于是，我们就得到了最后的相关函数

$$\begin{gathered} E(g(Z(t))g(Z(s)))=1\ast P(Z(t)Z(s)>0)+(-1)P(Z(t)Z(s)<0) \\ =\frac{1}{2}+\frac{1}{\pi }arcsin(\rho )-\frac{1}{2}+\frac{1}{\pi }arcsin(\rho ) \\ =\frac{2}{\pi }arcsin(\rho ) \end{gathered}$$

  可以继续表示相关系数，就是互相关除以自相关

$$\rho =\frac{R_Z(t-s)}{R_Z(0)}$$

  代入可以得到

$$E(g(Z(t))g(Z(s)))=\frac{2}{\pi }arcsin(\frac{R_Z(t-s)}{R_Z(0)})$$

4. Price Theorem – 分析非线性系统的工具

4.1 公式定义

  接下来介绍一个分析非线性系统的工具，能够简化高斯过程的通过非线性系统的计算。我们假设Z1,Z2服从二元高斯分布，这个分布均值为0，同时有基于z1，z2的函数 g(z1,z2)

$$\begin{gathered} \text{Price Theorem} \\ (Z_1,Z_2)\sim N(0,0,{\sigma }_1^2,{\sigma }_2^2,\rho ) \\ g(z_1,z_2) \end{gathered}$$

  则有如下公式成立

$$E(g(z_1,z_2))\Rightarrow \frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_{2}E(\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2})$$

  这个公式其实有一些约束条件，就是要求g的增长速度低于指数。不过一般的函数g都是满足这个条件的

4.2 公式证明

  下面证明一下这个公式。

$$E(g(z_1,z_2))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)f_{Z_1,Z_2}(z_1,z_2)d{z}_{1}d{z}_2$$

  如果直接用上面的式子对ρ求导，由于指数里面有相关矩阵的逆，矩阵的逆使得ρ的表达式及其复杂，为了避开求逆，我们就用特征函数来代替概率密度函数，因为在特征函数中，相关矩阵不是求逆，因此利用特征函数就能够实现求导的简化

$$E(g(z_1,z_2))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)({\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2)exp(-j({\omega }_1{z}_1+{\omega }_2{z}_2))d{\omega }_{1}d{\omega }_2)d{z}_{1}d{z}_2$$

$${\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2)=exp(-\frac{1}{2}({\sigma }_1^2{\omega }_1^2+{\sigma }_2^2{\omega }_2^2+2\rho {\sigma }_1{\sigma }_2{\omega }_1{\omega }_2))$$

  我们对相关系数求导

$$\frac{\partial E(g(z_1,z_2))}{\partial \rho }={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)({\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(-{\sigma }_1{\sigma }_2{\omega }_1{\omega }_2){\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2)exp(-j({\omega }_1{z}_1+{\omega }_2{z}_2))d{\omega }_{1}d{\omega }_2)d{z}_{1}d{z}_2$$

  我们希望把ω1和ω2给消掉。发现，ω1和ω2可以与特征函数组成一个偏导数的形式

$$\begin{gathered} -{\omega }_1{\omega }_2{\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2)exp(-j({\omega }_1{z}_1+{\omega }_2{z}_2)) \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }\frac{{\partial }^2{\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2)exp(-j({\omega }_1{z}_1+{\omega }_2{z}_2))}{\partial z_1\partial z_2}d{\omega }_{1}d{\omega }_2 \\ =\frac{{\partial }^2{f}_{Z_1,Z_2}(z_1,z_2)}{\partial z_1\partial z_2} \end{gathered}$$

  然后可以把这一部分式子重新带回去

$$\frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_2{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)\frac{{\partial }^2{f}_{Z_1,Z_2}(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2$$

  然后对多元函数使用分部积分

$$\begin{gathered} {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)\frac{{\partial }^2{f}_{Z_1,Z_2}(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2 \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_{Z_1,Z_2}(z_1,z_2)\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2-f_{Z_1,Z_2}(z_1,z_2)g(z_1{z}_2){|}_{-\infty }^{+\infty } \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_{Z_1,Z_2}(z_1,z_2)\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2 \end{gathered}$$

  我们要求g的增长速度要低于指数，是为了去掉分部积分的交叉项

  然后我们就证明了公式

$$\begin{gathered} \frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_2{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(z_1,z_2)\frac{{\partial }^2{f}_{Z_1,Z_2}(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2 \\ ={\sigma }_1{\sigma }_2{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_{Z_1,Z_2}(z_1,z_2)\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}d{z}_{1}d{z}_2 \\ ={\sigma }_1{\sigma }_{2}E(\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}) \end{gathered}$$

4.3 price theorem的应用

4.3.1 price theorem 与 hard limiter

  我们用price theorem来计算一下hard limiter的期望

  分三步

• (1)计算函数g的表达式

$$\begin{gathered} g(z_1,z_2)=sgn(z_1)sgn(z_2) \\ E(g(z_1,z_2))=E(sgn(z_1)sgn(z_2)) \end{gathered}$$

• (2)求偏导数

$$\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}=4\delta (z_1)\delta (z_2)$$

  符号函数求导是两倍的阶跃信号

• (3)利用公式对ρ积分

$$\begin{gathered} \frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_{2}E(\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}) \\ ={\sigma }_1{\sigma }_2{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{(1-{\rho }^2)}}exp(-\frac{1}{2(1-{\rho }^2)}((\frac{z_1}{{\sigma }_1}{)}^2+(\frac{z_2}{{\sigma }_2}{)}^2-2\rho (\frac{z_1}{{\sigma }_1})(\frac{z_2}{{\sigma }_2})))4\delta (z_1)\delta (z_2)d{z}_{1}d{z}_2 \\ =\frac{1}{2\pi \sqrt{(1-{\rho }^2)}}exp(-\frac{1}{2(1-{\rho }^2)}\ast 0){\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }4\delta (z_1)\delta (z_2)d{z}_{1}d{z}_2 \\ =\frac{2}{\pi \sqrt{(1-{\rho }^2)}} \end{gathered}$$

  求积分

$$\begin{gathered} E(g(z_1,z_2))=\int \frac{2}{\pi \sqrt{(1-{\rho }^2)}}d\rho \\ =\frac{2}{\pi }arcsin(\rho )+C \end{gathered}$$

  当ρ为0的时候

$$C=E(g(z_1,z_2){)}_{\rho =0}=E(sgn(z_1))E(sgn(z_2))=0$$

$$E(g(z_1,z_2))=\frac{2}{\pi }arcsin(\rho )$$

4.3.2 price theorem 与 square device

$$\begin{gathered} y=Z^2 \\ E(Y(t)Y(s))=E(Z^2(t)Z^2(s)) \end{gathered}$$

• 第一步，求g

$$\begin{gathered} g(z_1,z_2)=z_1^2{z}_2^2 \\ E(g(z_1,z_2))=E(z_1^2{z}_2^2) \end{gathered}$$

• 第二步，求导数

$$\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2}=4z_1{z}_2$$

• 第三步，求积分

$$\begin{gathered} \frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_{2}E(\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2})={\sigma }_1{\sigma }_{2}E(4Z_1{Z}_2) \\ =4{\sigma }_1{\sigma }_2{R}_Z(t,s) \\ =4{\sigma }_1{\sigma }_2\rho \ast {\sigma }_1{\sigma }_2 \\ =4{\sigma }_1^2{\sigma }_2^2\rho \end{gathered}$$

  求积分

$$\begin{gathered} E(g(z_1,z_2))=\int 4{\sigma }_1^2{\sigma }_2^2\rho d\rho \\ =2{\sigma }_1^2{\sigma }_2^2{\rho }^2+C \end{gathered}$$

$$\begin{gathered} C=E(g(z_1,z_2)){|}_{\rho =0} \\ =E(Z_1^2)E(Z_2^2)=R_Z^2(0) \end{gathered}$$

  故

$$E(g(z_1,z_2))=2{\sigma }_1^2{\sigma }_2^2{\rho }^2+C=2R_Z^2(t-s)+R_Z^2(0)$$

4.3.3 price theorem 与 ReLU

  ReLU也是一种分段线性，在神经网络中用的比较多，是一种非线性变换

  我们可以看一看神经网络处理过的高斯信号会得到什么样的统计特性

• 求g

$$g(x,y)=ReLU(x)ReLU(y)$$

• 求导

$$\frac{{\partial }^{2}g(x,y)}{\partial x\partial y}=U(x)U(y)$$

  ReLU求导是个阶跃函数U

• 求积分

$$E(\frac{{\partial }^{2}g(x,y)}{\partial x\partial y})=E(U(x)U(y))=P(z_1\ge 0,Z_2\ge 0)$$

  也就是在第一象限的积分

  在求硬限幅器的时候，我们求过这个积分，不过是一三象限的，因为一象限和三象限对称，得到的积分就是一半

$$P(z_1\ge 0,Z_2\ge 0)=\frac{1}{4}+\frac{1}{2\pi }arcsin(\rho )$$

  求积分

$$\begin{gathered} \frac{\partial E(g(z_1,z_2))}{\partial \rho }={\sigma }_1{\sigma }_{2}E(\frac{{\partial }^{2}g(z_1,z_2)}{\partial z_1\partial z_2})={\sigma }_1{\sigma }_2(\frac{1}{4}+\frac{1}{2\pi }arcsin(\rho )) \\ E(g(z_1,z_2))=\int {\sigma }_1{\sigma }_2(\frac{1}{4}+\frac{1}{2\pi }arcsin(\rho ))d\rho \end{gathered}$$

$$\begin{gathered} \int arcsin(\rho )d\rho =\rho arcsin(\rho )-\int \rho darcsin(\rho ) \\ =\rho arcsin(\rho )-\int \frac{\rho }{\sqrt{1-{\rho }^2}}d\rho \\ =\rho arcsin(\rho )+\frac{1}{2}\sqrt{1-{\rho }^2} \end{gathered}$$

  因此

$$\begin{gathered} E(g(z_1,z_2))=\int {\sigma }_1{\sigma }_2(\frac{1}{4}+\frac{1}{2\pi }arcsin(\rho ))d\rho \\ ={\sigma }_1{\sigma }_2(\frac{\rho }{4}+\frac{\rho arcsin(\rho )}{2\pi }+\frac{\sqrt{1-{\rho }^2}}{4\pi })+C \end{gathered}$$

5. Exponential

  然后再介绍高斯的指数变换。由于其对数是高斯分布，因此得到的这个分布叫做对数正态分布

$$Y(t)=exp(Z(t))\Rightarrow R_Y(t,s)=E(exp(Z(t)+Z(s)))$$

  我们可以发现这个用price解决不了，因为price的本质在于，通过求偏导，简化积分运算，但是这里不论求多少次导数，指数还是指数

  但是我们可以用特征函数来进行求解,我们发现求这个期望就是求特征函数，但是把ω定义为-j而已

$$\begin{gathered} E(exp(Z(t)+Z(s)))=E(exp(j({\omega }_1{Z}_1+{\omega }_2{Z}_2))){|}_{{\omega }_1={\omega }_2=-j} \\ ={\varphi }_{Z_1,Z_2}({\omega }_1,{\omega }_2){|}_{{\omega }_1={\omega }_2=-j} \end{gathered}$$

  我们可以直接就得到结果

$$\begin{gathered} E(exp(Z(t)+Z(s)))=exp(-\frac{1}{2}({\omega }_1,{\omega }_2)\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)\left(\begin{array}{c}{\omega }_1\\ {\omega }_2\end{array}\right)) \\ =exp(-\frac{1}{2}(-j,-j)\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)\left(\begin{array}{c}-j\\ -j\end{array}\right)) \\ =exp(\frac{1}{2}({\sigma }_1^2+{\sigma }_2^2+2\rho {\sigma }_1{\sigma }_2)) \end{gathered}$$

6. Triangometry

  然后再介绍高斯的三角函数变换

$$\begin{gathered} g(x)=cos(x) \\ Y(t)=g(Z(t))=cos(Z(t)) \\ {R}_Y(t,s)=E(Y(t)Y(s))=E(cos(Z(t))cos(Z(s))) \\ =E(cos(Z_1)cos(Z_2))=\frac{1}{2}E(cos(Z_1+Z_2)+cos(Z_1-Z_2)) \end{gathered}$$

  三角函数和指数是相通的

$$cos(\theta )=\frac{1}{2}(exp(j\theta )+exp(-j\theta ))$$

  再把积化和差变成指数

$$\begin{gathered} R_Y(t,s)=E(Y(t)Y(s))=\frac{1}{2}E(cos(Z_1+Z_2)+cos(Z_1-Z_2)) \\ =\frac{1}{4}(exp(j(Z_1+Z_2))+exp(-j(Z_1+Z_2))+exp(j(Z_1-Z_2))+exp(-j(Z_1-Z_2))) \end{gathered}$$

  又可以跟特征函数等同起来了，上面把ω变成了-j，这里把ω变成1和-1即可

$$R_Y(t,s)=\frac{1}{4}(\varphi (1,1)+\varphi (-1,-1)+\varphi (1,-1)+\varphi (-1,1))$$

7. 小结

  我们之所以要学习高斯的非线性变换的统计特性，是由于，通常我们对电子系统来说，会认为输入噪声是个高斯噪声，如果我们要统计高斯噪声通过非线性系统之后的统计特性，就要用到这节学到的知识。一旦我们有了二阶矩特性，我们就可以表示为功率谱的形式，得到了谱特征。不过，这些知识主要在上个世纪五六十年代被广泛应用，现在可能有些过时

  然后我们可以总结一下三种处理高斯非线性变换的方法

• 直接积分法：一般不要用，很麻烦
• price： 一般比较好用，但是不适合处理指数函数和三角函数
• 特征函数：特征函数法擅长处理指数函数和三角函数