证明：高斯白噪声的正交变换仍然是高斯白噪声

最新推荐文章于 2022-09-18 00:20:02 发布

峡谷相对论

最新推荐文章于 2022-09-18 00:20:02 发布

阅读量2.9k

点赞数 5

分类专栏：算法文章标签：概率论线性代数

本文链接：https://blog.csdn.net/qq_33552519/article/details/108372176

版权

算法专栏收录该内容

19 篇文章 24 订阅

订阅专栏

对于正交变换，如 DCT、DST、Haar 变换等等，我们都可以使用一个正交矩阵 ${\bf{A}}$ 来表示其变换核。对于一个向量 $\bf{x}$ ，记我们添加的加性高斯白噪声（Additive White Gaussian Noise, AWGN）为 $\bf{n}$ ，得到的有噪声向量为 $\bf{y}$ ，即有

${\mathbf{y}} = {\mathbf{x}} + {\mathbf{n}},\quad {n_i} \sim \mathcal{N}(0,\;{\sigma ^2}).\tag{1.1}$

那么该变换可表示为

${{\mathbf{T}}_y} = {\mathbf{Ay}} = {\mathbf{A}}({\mathbf{x}} + {\mathbf{n}}) = {\mathbf{Ax}} + {\mathbf{An}} = {{\mathbf{T}}_x} + {{\mathbf{T}}_n}.\tag{1.2}$

所以有噪声信号 $\bf{y}$ 的变换系数可以拆分为无噪声信号 $\bf{x}$ 的变换系数与噪声信号 $\bf{n}$ 的变换系数的和。由于这里只有噪声信号 $\bf{n}$ 是随机的，我们讨论 ${\bf{T}}_y$ 的分布时只需讨论噪声信号的变换系数的分布即可。

因为

$T_n^{(k)} = {A_{k,0}}{n_0} + {A_{k,1}}{n_1} + \ldots + {A_{k,N - 1}}{n_{N - 1}},\quad \sum\limits_{i = 0}^{N - 1} {A_{k,i}^2} = 1.\tag{1.3}$

所以很容易可得

$T_n^{(k)} \sim \mathcal{N}(0,\;{\sigma ^2}).\tag{1.4}$

也就是说噪声信号 $\bf{n}$ 的各个正交变换系数依然服从零均值的高斯分布，且方差与噪声本身一样，也就是同分布的。那么，各个系数之间的关系又是怎样的呢？从式（1.4）看来，各个变换系数都是所有噪声信号分量的线性组合，似乎这些变换系数是有一定的相关性的。但事实上，由于 $\bf{A}$ 为正交矩阵，各个变换系数之间是不相关的，为此我们可以计算任意两个系数之间的协方差，可得

$\begin{aligned} &Cov\left( {T_n^{(k)},\;T_n^{(l)}} \right) = E\left( {T_n^{(k)} \cdot T_n^{(l)}} \right) - E\left( {T_n^{(k)}} \right)E\left( {T_n^{(l)}} \right) \\ &= E\left( {\sum\limits_{i = 0}^{N - 1} {{A_{k,i}}{n_i}} \cdot \sum\limits_{i = 0}^{N - 1} {{A_{l,i}}{n_i}} } \right) \\ &= \sum\limits_{i = 0}^{N - 1} {{A_{k,i}}{A_{l,i}} \cdot E\left( {n_i^2} \right)} + \sum\limits_{i = 0}^{N - 1} {\sum\limits_{j \ne i} {{A_{k,i}}{A_{l,j}} \cdot E\left( {{n_i}} \right)E\left( {{n_j}} \right)} } \\ &= \sum\limits_{i = 0}^{N - 1} {{A_{k,i}}{A_{l,i}}} \cdot {\sigma ^2} = 0. \\ \end{aligned} \tag{1.5}$

这里用到了一些性质，即

$\begin{aligned} &E\left( {n_i^m} \right) = {\sigma ^2}(m - 1)(m - 3) \ldots (1),\quad m = 2,\;4,\;6,\; \ldots \\ &E\left( {{n_i}{n_j}} \right) = E\left( {{n_i}} \right)E\left( {{n_j}} \right) = 0,\quad \leftarrow Independent \\ &\sum\limits_{i = 0}^{N - 1} {{A_{k,i}}{A_{l,i}}} = 0.\quad \leftarrow Orthogonal \\ \end{aligned} \tag{1.6}$

因此，噪声信号 $\bf{n}$ 的任意两个正交变换系数都是不相关的。

然而，不相关并不意味着独立。但对于多维高斯分布，两个分量的相关性为零，我们就可以判定这两个分量是独立的。问题在于，多个单高斯分布变量的联合分布并不一定是多维高斯分布，所以我们不能直接认为两个不相关的高斯分布变量就是独立的。但是，如果这些高斯分布变量，如 $X_1, X_2, ..., X_N$ ，的任意线性组合

$\sum\limits_{i = 1}^N {{c_i}{X_i}} ,\tag{1.7}$

都是一个高斯分布的随机变量，那么它们就是联合高斯的 [1]。注意这里并不要求各个随机变量 $X_i$ 的协方差矩阵是非奇异的， $c_i$ 也不禁止全部为 0，但相应地我们需要认为常量也是属于高斯分布的。那么，因为有限个相互独立的高斯随机变量的线性组合一定是高斯随机变量，所以相互独立的高斯随机变量一定是联合高斯的。

回到 AWGN 的正交变换，由于每个系数都可以表示为相互独立的高斯随机变量的线性组合，即

$T_n^{(k)} = \sum\limits_{i = 0}^{N - 1} {{A_{k,i}} \cdot {n_i}} .\tag{1.8}$

那么对于变换系数的任意线性组合，有

$\begin{aligned} Z &= \sum\limits_{k = 0}^{N - 1} {{c_k} \cdot T_n^{(k)}} = \sum\limits_{k = 0}^{N - 1} {{c_k} \cdot \sum\limits_{i = 0}^{N - 1} {{A_{k,i}} \cdot {n_i}} } \\ &= \sum\limits_{i = 0}^{N - 1} {\left( {\sum\limits_{k = 0}^{N - 1} {{A_{k,i}} \cdot {c_k}} } \right) \cdot {n_i}} = {\left( {{{\mathbf{A}}^T}{\mathbf{c}}} \right)^T}{\mathbf{n}}. \\ \end{aligned} \tag{1.9}$

因此，即便矩阵 $\bf{A}$ 不是正交矩阵， $\bf{An}$ 所得到的高斯随机向量的各个分量也是联合高斯的，因为这些分量的任意线性组合总可以通过左乘矩阵 $\bf{A}$ 的转置表示为原始独立高斯随机向量 $\bf{n}$ 的线性组合。而对于 AWGN，当矩阵 $\bf{A}$ 为正交时，刚好各个分量即变换系数的相关性为零，所以这些分量都是相互独立的。而又由于各个变换系数的分布与原始噪声的分布是一样的，所以我们可以证明 AWGN 经过正交变换后仍然是 AWGN，并且噪声分布与原来一致。对于可分离的正交变换，如二维乃至多维 DCT 等，其相当于先对某一维做正交变换，然后依次对所得的结果做剩下维度的正交变换，因为每一维经过正交变换后的结果依然为 AWGN，所以经过多维正交变换后最终的变换系数同样是 AWGN。

图 1 展示了均值为零，标准差为 30 高斯白噪声图像，为了便于理解，这里使用了三维作图。由于各个像素之间的噪声分布是相互独立的，所以我们几乎不能在图中找到任何有意义的纹理特征。另外，因为高斯分布两个标准差之内占据了 95.4% 的概率，所以绝大部分的噪声值都在 [-60, 60] 之间。图 2 为 DCT-II 变换的结果，可以看到，其与图 1 即原始噪声信号几乎没有差别，都是一堆杂乱没有规律的数据，并且绝大部分的变换系数同样处在 [-60, 60] 之间。所以，从这个简单的例子也可以证明，高斯白噪声的正交变换系数同样是高斯白噪声。