高斯噪声与中心极限定理

1. 前言

　　
在众多的信号处理学科领域，噪声一直是衡量算法或系统抗噪声性能的一种指标，笔者是通信专业的学生。对于一个通信系统而言，衡量一个通信系统的质量有两个最重要的指标，一个是有效性，一个是可靠性。有效性的衡量标准是传输带宽，而可靠性的衡量准则是误码率。在误码率的计算中，取决于信噪比和码间串扰等因素。另外，信噪比的定义是信号的能量与噪声的能量的比值。那么如何合理的用数学模型来描述噪声呢？
　　
在长达四年的本科学习中，笔者发现，通信专业的书中一般假设噪声服从高斯分布（复信号服从循环对称高斯分布，其实部和虚部分别服从高斯分布）。笔者很是不解，为什么噪声是高斯的？记得在“通信原理”课上，当我问老师的时候，老师回答说“中心极限定理”。事实上，很多信号处理领域的学生一直不明白为什么噪声是高斯的，包括很多通信专业的学生。笔者觉得“为什么噪声是高斯的”这个问题是一个很重要的问题，它直接关系到绝大多数的理论的合理性。
　　
实际系统中，由于存在众多噪声源，且大多噪声源（电子噪声，电磁噪声等）满足相互独立假设，当噪声源数量足够多时，且每个噪声源对于总体的贡献可忽略不计，根据中心极限定理可知，这些噪声源的累加的结果服从高斯分布。此篇推导是笔者在考研的时候完成的，现在重新整理与大家分享。由于本人所学知识有限，诚恳地希望读者批评指正。

2. 辛钦大数定律

设随机变量$X_1,X_2,\cdots ,X_n$是相互独立同分布的随机变量序列，且具有相同的数学期望$\mathbb{E}[X_i]=\mu,\ (i\in [n])$，作前$n$个随机变量的算数平均值$\frac{1}{n}\sum\nolimits_{i=1}^nX_i$，则$\forall \varepsilon >0$，有

$$\begin{align} \lim\limits_{n\rightarrow \infty} P\left\{{\left|{\frac{1}{n}\sum\limits_{i=1}^nX_i-\mu}\right|< \varepsilon }\right\}=1 \end{align}$$

证：我们只在随机变量$D(x_i)={{\sigma }^{2}} \ (i\in [n])$存在，这一条件下证明上述结果。
因为

$$\begin{align} \mathbb{E}\left({\frac{1}{n}\sum\limits_{i=1}^nX_i}\right)=\frac{1}{n}\sum\nolimits_{i=1}^n\mathbb{E}[X_i]=\mu \end{align}$$
根据独立性，有
$$\begin{align} D\left({\frac{1}{n}\sum\limits_{i=1}^nX_i}\right)=\frac{1}{n^2}\sum\limits_{i=1}^nD(x_i)=\frac{\sigma^2}{n} \end{align}$$
由切比雪夫不等式 【见附录A】，有
$$\begin{align} 1-\frac{\sigma^2/n}{\varepsilon^2} \leq P\left\{{\left|{\frac{1}{n}\sum\limits_{i=1}^nX_i-\mu}\right|< \varepsilon }\right\} \leq 1 \end{align}$$
当 $n\to \infty$时，由夹逼准则，可得
$$\begin{align} \lim\limits_{n\rightarrow \infty} P\left\{{\left|{\frac{1}{n}\sum\nolimits_{i=1}^nX_i-\mu}\right|< \varepsilon }\right\}=1 \end{align}$$
Remarks:

1. 辛钦大数定理所说明的是，当随机变量个数$n\rightarrow \infty$时，这些随机变量的算术平均$\frac{1}{n}\sum\nolimits_{i=1}^nX_i$逐渐趋于概率均值$\mu$。
2. 另一方面，假设$\left\{{x_i}\right\} (i\in [n])$为随机变量$X$的样本，则当样本个数$n\rightarrow \infty$时，有样本均值趋于统计均值，即$\frac{1}{n}\sum\nolimits_{i=1}^nx_i=\mathbb{E}[X]$。

3. 特征函数

大多数情况下，数字特征（均值，方差，各阶距）不能完全确定随机变量的分布（除少数分布，如高斯分布，仅需要一阶矩和二阶矩就可以确定概率分布，详见附录B），我们需要一种与概率分布对应的一种表示，并且相对于概率分布更有利于计算。特征函数就是这样的一种与随机变量对应的表示，既能完全决定随机变量的分布函数，又具有良好的性质。

定义：设$X$为实随机变量，其概率密度为$p_X(x)$，我们称

$$\begin{align} \phi_X(t)=\mathbb{E}[\exp(itX)]=\int e^{itx}p_X(x)\text{d}x \end{align}$$
为随机变量 $X$的特征函数（characteristic funciton）这里的$t$是任意实数。

设随机变量$X$的特征函数为$\phi_X(t)$，则存在以下特性：

1. 若随机变量具有相同的特征函数，则它们具有相同的概率分布，即若随机变量$Y$的特征函数$\phi_Y(t)=\phi_X(t)$，则有$p_Y(y)=p_X(x)$。
2. 独立同分布随机变量和的特征函数，等于每个随机变量特征函数的乘积。
3. 设$Z=aX$，则有$\phi_Z(t)=\phi_X(at)$。

Remarks: 从特征函数的定义上可以看出，$X$的特征函数$\phi_X(t)$也是概率密度$p_X(x)$的傅里叶变换的共轭复数。而，傅里叶变换正是一种将信号从时域投影到频域的信号分解技术，其存在的意义，就是将信号转换到频域更有利于相应的处理。因此，不难看出，特征函数与概率密度是对应关系。关于特征函数的这些特性，笔者将在附录B中给出详细证明。

4. 中心极限定理

设随机变量$X_1,\cdots ,X_n$相互独立同分布，且具有相同的数学期望和方差，即$\mathbb{E}({{x}_{i}})=\mu$，$D({{x}_{i}})={{\sigma }^{2}}$，则随机变量之和的归一化变量

Yn=∑i=1nXi−E(∑i=1nXi