通信基础 2——高斯分布及归一化、标准化、零均值化

本文介绍了高斯变量的基础,包括概率密度函数及其性质,探讨了复高斯分布的特性,特别是零均值循环对称复高斯随机变量。文章还涉及到数据预处理中的归一化和标准化方法,以及加性高斯白噪声在通信领域的应用。此外,提到了卡方分布与复高斯随机变量模平方的关系,以及它们与Gamma分布的联系。
摘要由CSDN通过智能技术生成

高斯变量基础

高斯分布

概率密度函数

在这里插入图片描述

性质

复高斯分布

若复高斯分布Z=X+iY, 且满足在这里插入图片描述
则有在这里插入图片描述

概率密度函数

注:复高斯随机变量的密度函数,分母已经没有根号

应用

零均值循环对称复高斯随机变量

特殊的,当μ=μx=μy=0时,Z称为零均值循环对称复高斯随机变量(zero mean circle symmetric complex gaussian,ZMCSCG),σ2称为每个实数维度上的方差。

以上分析得出复高斯随机变量与每一实数维度高斯随机变量的关系

零均值化

将每个像素的值减去训练集上所有像素值的平均值,比如已计算得所有像素点的平均值为128,所以减去128后,现在的像素值域即为[-128,127],即满足均值为零。
在这里插入图片描述

卡方分布

设X1,X2,X3,…,i.i.d∼N(0,1), 令, 则X是服从自由度为n的χ2分布,记为X∼χ2(n)
卡方分布为特殊的Gamma分布,服从参数为G(n/2,1/2)

在这里插入图片描述

注意:
复高斯随机变量概率表达式的分母
复高斯随机变量模平方的分布与卡方分布、指数分布、Gamma分布之间的关系

补充

归一化、标准化、零均值化核心思想:平移+缩放

归一化

在这里插入图片描述
【作用】将某个特征的值映射到[0,1]之间,消除量纲对最终结果的影响,使不同的特征具有可比性,使得原本可能分布相差较大的特征对模型有相同权重的影响,提升模型的收敛速度,深度学习中数据归一化可以防止模型梯度爆炸。

标准化

在这里插入图片描述
【作用】将原值减去均值后除以标准差,使得得到的特征满足均值为0,标准差为1的正态分布,使得原本可能分布相差较大的特征对模型有相同权重的影响。举个例子,在KNN中,需要计算待分类点与所有实例点的距离。假设每个实例(instance)由n个features构成。如果选用的距离度量为欧式距离,数据预先没有经过归一化,那些绝对值大的features在欧式距离计算的时候起了决定性作用。

从经验上说,标准化后,让不同维度之间的特征在数值上有一定比较性,得出的参数值的大小可以反应出不同特征对样本label的贡献度,可以大大提高分类器的准确性。

【二者比较】具体应该选择归一化还是标准化呢,如果把所有维度的变量一视同仁,

①在计算距离中发挥相同的作用,应该选择标准化,标准化更适合现代嘈杂大数据场景。

②如果想保留原始数据中由标准差所反映的潜在权重关系,或数据不符合正态分布时,选择归一化。

参考https://zhuanlan.zhihu.com/p/183591302
https://www.cnblogs.com/zwwangssd/p/12540280.html

加性高斯白噪声

高斯是指概率分布是正态函数,白噪声是指他的二阶矩不相关,一阶矩为常数,是指先后信号在时间上的相关性。高斯白噪声是研究信道加性噪声的理想模型,通信中的主要噪声源—热噪声就属于这类噪声。
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值