随机过程基础2--宽平稳的自相关函数,正定性

1,在一元随机过程中,我们以宽平稳为例.以下描述的是宽平稳的随机过程.
并不是所有函数都可以作为相关函数,必须满足

对于宽平稳的随机过程来说,还需要满足相关函数只与时间间隔有关.

并且有宽平稳的相关函数一定是一个偶函数.

当随机过程是宽平稳的时候,自相关函数的两条性质,变成了如上图形式,其中第二条,说明两个信号在完全相同的时候自相关函数最大,在电子信息的应用中,就是寻找完全对齐的两个信号,并且一旦无法对齐,自相关函数急剧下降,这才是一个好的信号.(在设计信号时使用.)

并且对于宽平稳还有第三条性质,正定性.对于自相关函数f(x)任取n个x,并且将(f(xi-xj))放在矩阵的ij个元素上,组成的矩阵是正定的.

回忆一下,矩阵正定的最一般定义为

对于任意α,都有上面的式子.另外,这里包含了正定与半正定矩阵.学术上一般把大于等于0的矩阵都叫做正定矩阵.

由正定性出发,我们可以得到另外两条性质.
下面是对宽平稳,正定性的证明.

这里阿尔法表示一个列向量.最后结果是一个数.

这里E可以提到外面是因为,期望具有线性,并且两个α是确定数字,这里面xi是随机变量,表示随机变量在t时刻的取值,服从分布,有随机性.α就是确定的了.这样就证明了正定性.注意这里还因为两个变量一定是相关的,不独立的,否则没必要算相关函数了.这里只是因为线性和确定性可以将E提出去.

用线性代数的语言描述更加简洁.其中R称为相关矩阵.

正定函数一定是某个宽平稳随机过程的自相关函数.并且对应于某一随机过程.

自相关函数的两个特殊性质.

第一个,一般相关函数的图象0点最大,随t的变化而逐渐减小.特殊的,如果在之后某一点,相关值r(t1)=r(0)那么函数一定开始震荡.这里用t代指tao.

这个等于0点相关值的点,就成了周期.
以下是证明

我们需要借助一个中间步骤,满足这个中间步骤的式子叫做均方周期,如何证明?就是将E根据线性展开,其中第一项和第二项都等于r(0)因为时间差都为0,第三项等于r(T).这样就得以证明.

所以说,我们可以通过局部的事(r(0)=r(T)),推断出整体有均方周期性.

下面得到最终结论

这里r可以写成从0到tao+T时刻的自相关函数,并使用柯西不等式,得到证明.

判断是否有一个相关函数是矩形窗的样子

第一思路就是判断是否为正定函数,并且从正定函数的定义不可能判断出来,要任取n个点,并且组成矩阵是正定的.

下面介绍第二个自相关函数的特殊性质.用此来解决上述问题.

在局部推断出整体的证明中,往往借助跳板,并且为均方性质.如第一个问题就借助了均方周期性.

这个性质就是,自相关函数如果在r(0)处是连续的,那么它在任意地方都连续.
连续是对于一个点的性质,我们说一个函数连续,代表的是这个函数的每个都连续,简单来说就是函数值不跳跃,像矩形窗就有跳跃的点,其逼近的时候并不会使图片中的式子逼近与0.

极限的定义

在这个定义中,最重要的是,那么绝对值代表的距离,这里表示为欧氏距离,如果是多维,无非就是多维的距离公式.对于曲面几何就不同了.

导数的定义

微分的定义

微分其实就是y的变化量.

前面说过,对于之前的几何距离,用在确定性数字中,而在随机过程中,随机变量是不确定的,所以如何来表示两个随机变量之间的距离呢?就是均方距离

定义如上.并且对于均方距离,极限定义就变成了如上形式.
下面一部分是证明,均方距离满足距离的三个性质:对称性,非负性,和三角不等式性质.前两个很明显满足,第三条,用两边之差小于第三边结合柯西不等式证明,用到两边同时取平方.最后用柯西不等式.由此定义起来了均方距离.

那么什么叫随机变量呢?
首先,随机变量是一个确定的数,那么随机性在哪?在实验之前,我们无法预想到实验的确定性结果,会有不止一个结果,就比如说抛硬币,当做了一次实验的时候,随机变量的取值就是确定的正面和反面,但是实验之前无法确定.就像前面均方距离的公式中,并不是说xn-x就趋近于0了,而是说期望是0,就是趋近于同分布了.

题外话,如果一个人很智慧,全知全能,那么抛出硬币的一刻,是否就已经知道了结果?实验证明,从人类已知知识并不能完全消除随机性,因为一个系统可能对初值非常敏感,类似于蝴蝶效应.

另外,样本空间就表示一个随机变量的所有可能的结果的集合.并且没有一点随机性,是一个确定的结果.是人类长期总结得到的所有结果.

那么得到了样本空间,我们就从样本空间的子集中定义出概率,(以多少可能性来取某一结果),这个概率也没有一点随机性,我们预先就知道.是先验概率.随机就随机在每一次实验可能得到不同的结果.如,高斯分布,抛硬币,我们预先就知道概率是多少,只是结果并不确定.
也可以给我们提醒,概率中的两个随机变量相等,更多的是取相同分布,这样E(Y-X)就是0.

再来说什么是随机变量.

随机变量做的事是量化的作用,有的样本空间可能不是数,但是随机变量将其映射成数字,这样就可以做各种数学计算.这也是确定的.随机变量只是样本空间的一个数量代理.

那么当样本空间构造出来的时候,随机性就消失了.之后的概率和随机变量都是确定的.

对于概率来说需要先有模型

这就是模型,第一个为样本空间,第二个为样本空间的子集,第三个为概率.模型都是人造的,都是先验的.概率的作用就是从模型出发,得到各种各样的决策.

而对于统计来说,是从数据出发,通过一些技术,来得到模型.

现在的大数据,就是直接从数据进行决策,因为数据太大,建立模型太复杂或根本建立不了.

那么随机变量之间为什么可以建立极限?

这里x其实是一个具体的数,xn的分布在n趋近于无穷时,会收敛到x.例如大数定理,就是无数次试验后,均值逼近数学期望.(函数项级数极限)简单理解为,经过无数次试验后,xn逼近常数x.

这里又一次,提醒了随机变量可以理解为二元函数,当t确定,我们得到的是一个分布,也可以理解为一个一元函数.

现在回到一开始的问题,证明自相关函数的第二条特殊性质.

第一步,由0点连续,证明均方连续.
第二步,证明结论

这与特殊性质一非常相似,在于均方连续与均方周期相差也只是一个字母.

以宽平稳为例,最大的好处是,我们搞清楚一个点就搞清楚了所有点.因为其自相关函数只与时间差有关,而与具体的时刻无关.
从随机过程角度来看,我们在看宽平稳,从函数特性角度来看,我们在看正定.因为宽平稳的自相关函数,最大特点就是正定.

所以矩形窗并不是一个宽平稳的自相关函数.因为他0点连续,在其他点不都连续.
那么下面来看更直接的判断方法.

一个函数是正定的,当且仅当其傅里叶变换是正值或0.

矩形窗的傅里叶变换是如上的sa函数形状,所以当然不是正定的.

那么对于宽平稳随机过程,我们真的可以从频域上进行分析.对于其他随机过程不太好办.频域上主要分析功率谱.

下面简单的证明一下上面定理.
由正定到傅里叶变换比较麻烦,不予证明.下面证明由傅里叶变换到正定.

首先我们证明,g(x)为正定函数,这个函数可以用定义来证明.

这里e括号中的-号可以提成α的共轭,因为α取共轭也就是在指数上添一个负号.

由此证明g(x)确实是正定函数.

由此证明.可能是正定函数的定义?

那么三角波是一个宽平稳随机过程的自相关函数吗?
三角波的傅里叶变换是sa函数的平方,因为三角波是由两个矩形波卷积而来,时域卷积,频域相乘.

由此来检查之前的两个例子,cos的傅里叶变换就是两个冲激,前面的参数用来控制距离.