目录
12.1 随机变量(Random Variables,RVs)
12.1.1 离散随机变量(Discrete Random Variables)
12.1.2 连续随机变量(Continuous Random Variables)
12.1.3.3 中心矩(和方差)(Central moments (and variance))
12.1.3.4 高斯分布(Gaussian distribution)
12.1.3.5 归一化高斯函数和Q函数(Normalized Gaussian, and the Q function)
12.1.3.6 中心极限定理(Central limit theorem)
12.2 平稳随机过程(Stationary Random Processes)
12.2.1 自相关函数(Auto-correlation function)
12.2.1.1 激励示例(Motivational example)
12.2.2 广义平稳(WSS)随机过程(Wide Sense Stationary (WSS) Random Processes)
12.2.3 遍历随机过程 (Ergodic Random Processes)
前言
本笔记是基于北京都柏林学院2022年EEEN3005J Communication Theory课程课件总结出的笔记。任课教师为Dr Deepu John。
阳老板建议: 本节内容之后的为期末考试内容,前11章内容配合期末试卷一同使用效果最佳。
Chapter 12 Random Signals
12.1 随机变量(Random Variables,RVs)
随机变量X是一个与实验结果有关的数字。如果我们重复实验,我们可能会得到一个不同的数字,以一种不可预测的方式——每次重复实验都会产生一个样本值。
12.1.1 离散随机变量(Discrete Random Variables)
离散随机变量是指只能从有限的一组可能值中取值的变量,示例包括:
• 掷骰子
• 从牌堆中挑选一张牌
• 轮盘赌的价值。
我们通过其概率质量函数(PMF)来描述离散随机变量,定义如下:
pmf告诉我们每个可能结果的概率。例子:
• 扔骰子:
• 从牌堆中挑选一张牌:
• 轮盘赌:
注意所有概率之和=1。
这是因为,当然,可以保证(即概率=1)每次都会发生一个结果。我们可以用数学来表达:
其中的总和是x的所有可能值。
12.1.2 连续随机变量(Continuous Random Variables)
连续随机变量可以在连续范围内取任意值,
例如
• 随机选择的人的身高。
• 噪声电阻器上的电压振幅
让我们进一步看看第一个例子,并提出以下问题:
1.随机选择的人身高1.7米的概率是多少?
2.随机选择的人身高2.7米的概率是多少?
在北京(2010年),人的平均身高是1.747米,所以我们可能认为
170万人的概率远远高于270万人,对吗?也许不是。如果…怎么办
我们将问题重新表述如下:
1.随机选择的人身高1.70000000’米的概率是多少?
2.随机选择的人身高2.70000000’米的概率是多少?
(这里的’意味着永远重复)。
我们没有改变这个问题,但现在答案是什么?
0 !!!!
我们可以把它放在数学中,对于一个连续的随机变量来说
因此,对于x的每一个可能值,连续RV的PMF为零;
PMF是连续RVs概率的无用度量,我们需要另一个工具。。。
12.1.2.1 概率密度函数(PDF)
基于以上讨论,讨论X在一系列值上的概率才有意义。因此,我们定义了概率密度函数(PDF),它具有以下性质:
其在[a,b]范围内的积分(或从x=a到b的曲线下的面积)给出了x在该范围内(包括)获得一个值的概率。
现在我们可以问以下问题:
1.随机选择的人身高在1.69到1.71米之间的概率是多少?
2.随机选择的人身高在2.69到2.71米之间的概率是多少?
现在,这些问题将有非零答案,如图12.1.1所示。
PDF具有以下性质
• 该函数为非负函数,
• 该函数总和为1,
12.1.2.2 累积分布函数(CDF)
有时(实际上通常)更容易考虑RV小于(或等于)某个值的概率,因此我们将连续随机变量X的累积分布函数(CDF)定义为:
一些属性:
• 它包含与PDF相同的所有信息
• 这是一个非递减函数
12.1.2.3 CDF和PDF之间的关系
从CDF的定义来看:
其中是
的PDF。
这也可以写为:
从这两个表达式可以清楚地看出,或
足以完全描述独立RV,因为我们可以使用它们来计算任何结果的概率。
根据它们,我们可以计算RV函数的值,以及一些重要的基本统计数据,例如均值和方差。
12.1.3 预期(Expectation)
问:如果你多次重复一个实验,平均结果值是多少?
A. 把它们加起来,除以实验次数。
让我们考虑一下掷骰子N次的离散示例。我们预计会得到次的“一”和
次的“二”
等等。把这些放在一张桌子上,我们有:
您可以在Matlab中轻松证明这一点:
我们可以概括地说,离散RV的预期值(或平均值,或真实平均值)为:
其中,求和是对x的所有可能值进行的,是
的PMF。
通过这种极限情况,可以证明,对于连续变量,我们有以下期望值:
其中现在是RV的PDF。
期望值代表了“真实”的平均值,考虑了所有可能(无限多)的结果及其概率。它与样本平均数′相反,
是N(有限个)样本值的平均值:
我们当然愿意相信,在这种情况下,我们可以说X'是平均值的无偏估计。
12.1.3.1 函数的预期值
对于任何函数,
的期望,随机变量的函数,是
从这一点很容易看出预期是线性的,即:
因此,期望函数是线性的:
12.1.3.2 矩(moment)
X的n阶矩被定义为
例:n=1; 是X的平均值。
例:n=2;是X的均方值。X的均方值指示X的“大”程度。
12.1.3.3 中心矩(和方差)(Central moments (and variance))
X的第n阶中心矩为:
例: n=2; 为X的方差
X的方差给我们提供了X关于其平均值的变化程度的指示。
方差具有以下属性:
方差的平方根σX称为X的标准偏差。
注意:
12.1.3.4 高斯分布(Gaussian distribution)
示例:高斯分布随机变量(也称为正态分布随机变量)由PDF描述:
注意,这个分布只有两个参数,即和
。
练习:表明该RV的均值和方差确实是和
。
基于此,可以说变量是高斯分布的,具有特定的均值和方差,我们通常使用简写符号:
∼ 在概率论中经常被用来表示RV是如何分布的(它并不意味着“等于”)
12.1.3.5 归一化高斯函数和Q函数(Normalized Gaussian, and the Q function)
归一化高斯随机变量的,方差
,即
。
其PDF格式如下:
归一化高斯PDF尾部下的区域在通信理论中经常使用,我们给它起了一个特殊的名字,Q函数:
数学家们喜欢的互补误差函数是由
这些都与以下公式有关:
这种关系如图12.1.2所示。
正如我们稍后将看到的,所谓的“Q函数”在分析数字通信系统的性能时是有用的。
12.1.3.6 中心极限定理(Central limit theorem)
中心极限定理(这里没有证明)说,如果你把足够的独立和相同的分布加在一起。
RVs结果具有高斯分布,与原始分布无关,事实上:
这就是为什么我们发现高斯RVs无处不在——电子工程也不例外,
在大型电路中,有许多独立的噪声源,可以(小心地)将它们集中到一个高斯分布中,从而大大降低分析的复杂性。
12.1.4 相关随机变量(Correlated RVs)
到目前为止,我们只考虑了独立的随机变量,即结果独立于其他任何东西的随机变量。在考虑随机过程之前,我们先简单介绍一下
相关随机变量。考虑图12.1.3中的电路。
显然,我们有:
然而,他们并不独立。
我们的意思是,如果我们知道其中一个,那么我们就知道另一个,在这种情况下,我们知道关于另一个的一切;我们说这两个RVs是相关的。
我们通过相关系数测量两个随机变量 X和Y之间的相关性,定义为:
练习:对于我们的分压器电路。
总的来说,我们有:
• ρ = 0 ⇒变量是独立的
• 0 < ρ < 1 ⇒这些变量在某种程度上是相关的,也就是说,知道其中一个可以告诉我们关于另一个的一些事情(但不是全部)。
• ρ = 1 ⇒变量是100%相关的,也就是说,知道其中一个可以告诉我们关于另一个的一切。
12.2 平稳随机过程(Stationary Random Processes)
随机过程,或随机过程,是指产生输出的过程,
是时间的函数,只能用统计方法描述,示例包括:
•自动抛硬币的机器——这是一个离散的随机过程,因为可能的值是“正面”或“反面”。
•每单位时间到达一家商店的客户数量——这是一个离散的随机过程,因为可能的值为1、2、3······,等等。这通常由一个“到达率”参数建模。
•电阻器;通过它的电压总是包含一个随时间变化的随机分量——噪声通常是零均值高斯分布
理论上,所有这些示例过程本身都是时变的,即它们的统计数据随时间而变化,即:
• 投币机运行多年后,其统计数据将与其原始设置不同
• 我们预计,与白天相比,夜间顾客到达商店的速度会有所不同。
• 电阻器上的噪声随着温度的变化而变化,因此可能会在一天和一年中发生变化。
因此,这些都是非平稳随机过程的例子。
然而非平稳随机过程很难处理——因此在工程中,我们通常假设这些过程在分析的时间跨度内是平稳的。我们将不再考虑非平稳过程!
平稳随机过程的统计参数不随时间变化。
1.通信信道中的噪声是一个随机过程——描述这个过程可以让我们计算出信道噪声对通信系统性能的影响
2.完成后,我们可以进一步设计通信系统(发射器和接收器),以尽量减少这种影响。
3.从接收器的角度来看,信息信号也可以被视为一个随机过程。如果接收器知道信息信号,就不需要通信。因此,还需要对信息信号进行统计表征。
假设X是一个平稳的随机过程,有一个输出,那么我们可以将其视为一个随机变量——与前一节课中的随机变量没有什么不同,只是我们需要包含t,所以我们使用稍微不同的表示法:它的CDF是:
及其PDF格式:
例如,一个非常常见的过程称为高斯过程,对所有t具有高斯分布:
X的平均值为:
这是一个常数(随着时间的推移),因为我们假设这是一个平稳的过程。
12.2.1 自相关函数(Auto-correlation function)
因此,除了上述一些定义中的t参数外,平稳随机过程的各个方面与正则独立随机变量没有区别,
PDF和CDF允许在不参考任何其他时间的情况下,描述某个时间
到的
输出的统计信息。为了检验随机过程的输出是如何随时间变化的,我们需要一些额外的统计工具。
12.2.1.1 激励示例(Motivational example)
考虑图12.2.1所示的两个信号和
。这些都是在Matlab中生成的。
我们注意到了什么?
根据直方图,它们似乎都是高斯分布的——这是正确的,事实上它们都是高斯分布
但很明显,它们在时域上“看起来”非常不同——这怎么可能呢?
我知道(因为我生成了它们),的每个样本都是独立的,但是
的样本不是独立的,它们是相互关联的。如果我知道
,那么我知道关于
的一些(但不是全部),我们可以说它们有一个自相关系数
.
当然,这取决于具体的时间实例t1和t2,所以我们定义的自相关函数为
这与自相关系数的定义不同,因为没有非劣化因子。
这测量了在两个不同时间t1、t2的两个过程样本之间的相关性。
12.2.2 广义平稳(WSS)随机过程(Wide Sense Stationary (WSS) Random Processes)
如果一个随机过程的所有统计量都不随时间变化,那么它就是严格意义上的平稳过程。广义平稳性是一个较为宽松但被广泛使用的定义。如果仅满足以下两个条件,则随机过程为广义平稳(WSS):
• 平均值与时间无关,即:
• 自相关函数仅取决于样本之间的时间差(导致以下滥用符号):
其中是时间差。这里的要点是,自相关函数仅取决于此时间偏移,即t1和t2之间的时间,而不取决于t1或t2。
12.2.3 遍历随机过程 (Ergodic Random Processes)
在长度为的区间内,平稳随机过程
输出的时间平均值如下所示:
如果 也就是
, 那么X的平均值是遍历的。
在长度为的区间内,平稳随机过程
输出的自相关如下所示:
如果 也就是
, 那么X在自相关函数中是遍历的
遍历性对于一个随机过程来说是一个很好的特性,因为它意味着我们可以通过替换测量的时间平均值来估计“真实”平均值和自相关,并且这些估计随着
还要注意,遍历过程必须是平稳的,但平稳过程不一定是遍历的。
我们将假设所有随机过程都是WSS,并且在均值和自相关中是遍历的。