【随机过程】 7 - 高斯过程的初步认识

高斯过程的初步认识

1. 概述

  随机过程研究的角度主要包括：线性的角度、马尔科夫角度、鞅角度。我们之前所介绍的知识都是从线性的角度来说的，讲述的都是随机过程中的一些共性的东西，还没有介绍具体的随机过程。接下来，我们要介绍高斯过程和泊松过程两个随机过程。这是人们研究最透彻，也是最常见的两种随机过程。

  我们首先会通过物理学的分子运动、信息论中的熵和概率论中的中心极限定理这三问题入手，通过分析这三个问题，我们会发现高斯过程是一种随处可见，应用非常广泛的随机过程。

2. 扩散方程与高斯过程

  第一个角度，我们会从分子运动和随机扩散问题进行展开，这是个物理问题。

$$\begin{gathered} \text{Molecular Dynamic} \\ \text{Random Diffusion} \end{gathered}$$

  我们提出的问题是，假设我们往水里滴一滴墨水，经过时间τ之后，这滴墨水的分布情况变成了什么样子。事实上，这是问题是具有随机性的，并且会服从某种分布。

  我们假设ρ(y)表示，经常时间τ之后，分子距离原点为y的地方出现的概率

$$\rho (y)\text{ Probality Density}$$

  我们规定这个概率分布具有这样的性质：关于原点是对称的、积分是1、一阶矩为0，二阶矩是个常数。

$$\begin{gathered} \rho (y)\ge 0 \\ \rho (y)=\rho (-y) \\ {\int }_{-\infty }^{+\infty }\rho (y)=1 \\ {\int }_{-\infty }^{+\infty }y\rho (y)=0 \\ {\int }_{-\infty }^{+\infty }{y}^2\rho (y)=D \end{gathered}$$

  分子运动建模是1905年由爱因斯坦做出的。当时概率理论还没有被建立。人们描述分子运动一般都会基于牛顿方程，使用动力学模型进行描述，但是由于需要考虑的因素过多，没有办法准确描述。爱因斯坦首次使用概率的方法对分子运动进行建模。并且，基于这个模型，人们发现了分子。

  然后我们定义一个函数f(x,t),表示时间为t的时候，距离原点x位置的分子数量。由于在初始化时刻初始位置我们只滴入了一滴墨水，初始状态的分子总量是确定的。我们描述物理问题的时候一般都是需要找到守恒量的，这里分子的总量就是个守恒量

$$f(x,t)\to f(0,0)=C$$

  接下来，我们要通过分子运动规律进行建模，从而得到有关函数f的微分方程。

  我们要计算经过时间τ之后x处的分子数量

$$f(x,t+\tau )={\int }_{-\infty }^{+\infty }f(x-y,t)\rho (y)dy$$

  t +τ时刻的分子是由t时刻各处的分子的扩散行为决定的，在x处的分子可能会扩散向其他地方，不在x处的可能会扩散过来。这个方程其实已经包括了扩散来和扩散走的情况了。y为0的时候就是x处分子的扩散行为。

  左边是时间的维度，右边是空间的维度。我们通过对时间维度和空间维度进行泰勒展开，即可得到微分方程。不过，由于时间的差异非常小，用泰勒公式是可以的，因为泰勒公式是局部展开的性质。而对空间维度进行泰勒展开可能在感觉上会有问题，但是最终得到的结果确实正确的

$$f(x,t+\tau )=f(x,t)+\frac{\partial f}{\partial t}\tau +O(\tau )$$

  然后在空间维度进行展开，并且展开到二阶

$$f(x-y,t)=f(x,t)-\frac{\partial f}{\partial x}y+\frac{1}{2}\frac{{\partial }^{2}f}{\partial x^2}{y}^2+O(y^2)$$

  时间展开等于空间展开的积分，其中高阶无穷小可以忽略。并且代入概率密度函数的性质,我们可以得到一个差分方程

$$\begin{gathered} f(x,t)+\frac{\partial f}{\partial t}\tau +O(\tau )={\int }_{-\infty }^{+\infty }(f(x,t)-\frac{\partial f}{\partial x}y+\frac{1}{2}\frac{{\partial }^{2}f}{\partial x^2}{y}^2+O(y^2))\rho (y)dy \\ f(x,t)+\frac{\partial f}{\partial t}\tau =f(x,t){\int }_{-\infty }^{+\infty }\rho (y)dy-\frac{\partial f}{\partial x}{\int }_{-\infty }^{+\infty }y\rho (y)dy+\frac{1}{2}\frac{{\partial }^{2}f}{\partial x^2}{\int }_{-\infty }^{+\infty }{y}^2\rho (y)dy \\ f(x,t)+\frac{\partial f}{\partial t}\tau =f(x,t)+0+\frac{D}{2}\frac{{\partial }^{2}f}{\partial x^2} \\ \Rightarrow \frac{\partial f}{\partial t}\tau =\frac{D}{2}\frac{{\partial }^{2}f}{\partial x^2} \\ \Rightarrow \frac{\partial f}{\partial t}=\frac{D}{2\tau }\frac{{\partial }^{2}f}{\partial x^2} \\ \text{Diffusion Equation} \end{gathered}$$

  这个方程求解以后即可得到高斯过程

$$\begin{gathered} \text{Let }c=\frac{D}{2\tau } \\ f(x,t)=\frac{1}{\sqrt{2\pi ct}}exp(-\frac{x^2}{2ct}) \end{gathered}$$

  说明扩散行为是可以用高斯进行描述的。因为随着时间的迁移，中间的分子量会减小，但是仍然保持中间多两边少的一种状态

3. 最大熵与高斯分布

3.1 双边无界

  接下来，我们从信息论的角度，从最大熵的角度来看待高斯分布。

  首先，我们需要明确随机变量熵的定义

$$\text{Maximum Entropy}$$

$$H(Z)=-{\int }_{-\infty }^{+\infty }{f}_Z(x)log{f}_Z(x)dx$$

  所谓熵最大，就是该分布具有最大的随机性。我们首先选择分布区间是双边无穷的，并且限制好这个分布的均值和方差

$$Z\in (-\infty ,+\infty )E(Z)=uE(Z^2)={\sigma }^2$$

  事实上，这是一个条件极值问题，我们在限制分布的积分、分布的一阶矩、分布的二阶矩之后，去追寻最大熵。约束条件为

• 积分是1
• 一阶矩是u
• 二阶矩是σ²

$$G(f)=-{\int }_{R}f(x)logf(x)dx+{\lambda }_1({\int }_{-\infty }^{+\infty }f(x)dx-1)+{\lambda }_2({\int }_{-\infty }^{+\infty }xf(x)dx-u)+{\lambda }_3({\int }_{-\infty }^{+\infty }{x}^{2}f(x)dx-{\sigma }^2)$$

  事实上，我们发现这个条件极值不好求，因为这个函数的函数，我们这是个泛函。为了能够对数求导，而不是对函数求导，这里我们使用欧拉变分法进行处理。

$$\text{Variational Method}$$

  我们假设我们最优的函数是f₀,然后我们定义熵是最优函数和一个任意函数g的线性组合

$$\begin{gathered} f(x)=f_0+tg \\ H(t)=G(f_0+tg)t\in \mathbb{R} \end{gathered}$$

  因为f₀是最优的函数，t为0的时候，一定能够达到最大熵的条件

$$H(0)=G(f_0)\ge G(f_0+tg)=H(t)$$

  因此，熵在t为0的时候一定是导数为0

$$\frac{\partial }{\partial t}H(t){|}_{t=0}=0$$

  我们的目标函数可以变成

$$\begin{gathered} H(t)=G(f_0+tg)=-{\int }_R(f_0+tg)log(f_0+tg)dx+ \\ {\lambda }_1({\int }_{-\infty }^{+\infty }(f_0+tg)dx-1)+{\lambda }_2({\int }_{-\infty }^{+\infty }x(f_0+tg)dx-u)+{\lambda }_3({\int }_{-\infty }^{+\infty }{x}^2(f_0+tg)dx-{\sigma }^2) \end{gathered}$$

  求导

$$\begin{gathered} \frac{\partial }{\partial t}H(t)=-{\int }_{R}glog(f_0+tg)dx-{\int }_{R}gdx+{\lambda }_1{\int }_{-\infty }^{+\infty }gdx+{\lambda }_2{\int }_{-\infty }^{+\infty }gxdx+{\lambda }_3{\int }_{-\infty }^{+\infty }g{x}^{2}dx \\ ={\int }_{-\infty }^{+\infty }g(-log(f_0+tg)+({\lambda }_1-1)+{\lambda }_{2}x+{\lambda }_3{x}^2) \end{gathered}$$

$$\frac{\partial }{\partial t}H(t){|}_{t=0}={\int }_{-\infty }^{+\infty }g(-log(f_0)+({\lambda }_1-1)+{\lambda }_{2}x+{\lambda }_3{x}^2)$$

  因为对任意的g成立，因此可以得到

$$-log(f_0)+({\lambda }_1-1)+{\lambda }_{2}x+{\lambda }_3{x}^2=0$$

$$f_0=exp({\lambda }_1-1+{\lambda }_{2}x+{\lambda }_3{x}^2)$$

  得到的是一个指数的二次型，因此，得到的最大熵优化的结果一定是一个高斯分布。说明高斯分布的随机性是最强的，因此是最值得研究的。

  求解之后可以得到这样的结果

$$\begin{gathered} f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-m{)}^2}{2{\sigma }^2}) \\ \text{Maximum Entropy}\Rightarrow \text{ Gaussion} \end{gathered}$$

3.2 单边无界

  如果是单边无界的话，约束条件就只需要对均值和积分有所约束

$$G(f)=-{\int }_{R}f(x)logf(x)dx+{\lambda }_1({\int }_{-\infty }^{+\infty }f(x)dx-1)+{\lambda }_2({\int }_{-\infty }^{+\infty }xf(x)dx-u)$$

  最终得到的结果是没有二次项的

$$\begin{gathered} f_0=exp({\lambda }_1-1+{\lambda }_{2}x) \\ \Rightarrow f(x)=\lambda exp(-\lambda x)I_{[0,+\infty )}(x) \end{gathered}$$

  我们发现得到的是一个指数分布。指数分布最大的特点是无记忆性

$$\begin{gathered} [0,\infty ) \\ s.t.\int xdx=1 \\ s.t.\int xf(x)dx=m \\ \text{Maximum Entropy}\Rightarrow \text{ Exponential} \end{gathered}$$

3.3 双边有界

  如果是双边有界，一阶矩的约束也就没有了

$$\begin{gathered} [a,b] \\ s.t.\int xdx=1 \\ \Rightarrow G(f)=-{\int }_{R}f(x)logf(x)dx+{\lambda }_1({\int }_{-\infty }^{+\infty }f(x)dx-1) \\ \Rightarrow f_0=exp({\lambda }_1-1) \\ \Rightarrow f(x)=\lambda \text{Maximum Entropy}\Rightarrow \text{ Uniform } \end{gathered}$$

  我们发现，如果双边有界，得到的分布是均匀分布。

  由于我们一般使用的是双边无界的分布，所以，一般我们更加经常使用的是高斯分布。

4. 中心极限定理、大数定理与高斯过程

4.1 中心极限定理

4.1.1 中心极限定理的描述

  中心极限定理有很多种表示形式，这里介绍使用最广泛的一种

  假设有n个独立同分布的随机变量。并且这些随机变量的均值和方差得到了规范化

$$\begin{gathered} \text{Cnetral Limit Theorem} \\ {Z}_1,Z_2,...Z_{n}i.i.d \\ E(Z_k)=0 \\ Var(Z_k)=1 \\ \text{Then }li{m}_{n\to +\infty }\frac{Z_1+...+Z_n}{\sqrt{n}}=N(0,1) \\ \text{Gaussian Universality} \end{gathered}$$

  则这个n是随机变量的和除以根号n，得到的是一个正态分布。

  中心极限定理有两点值得注意的

• 中心极限定理表征的是大量的微小随机因素的叠加。
• 并且这些叠加最终可以得到一个高斯分布，而且我们没有限制这些随机因素到底是什么分布。

  因此，通常我们会假设电子设备中的噪声是高斯噪声是有道理的，因为就等于无穷多的微小随机噪声的叠加，根据中心极限定理，就可以认为这些噪声是满足高斯分布的。

4.1.2 特征函数

  接下来我们要验证中心极限定理是正确的，我们首先要引入特征函数的概念

$$\text{Characteristic Function}$$

  一个概率密度函数的特征函数，实际上就是它的反傅里叶变换

$${\varphi }_Z(\omega )={\int }_{-\infty }^{+\infty }exp(j\omega x)f_Z(x)dx$$

  由于特征函数一定大于0，复指函数一定大于0，因此这个傅里叶反变换一定是大于0的，因此，这个特征函数一定是正定的。

  因此，特征函数和概率密度函数是傅里叶变换对的关系。因为傅里叶变换对是一对一的关系，因此，一个概率密度函数的特征函数也是唯一的

4.1.3 高斯分布的特征函数

  接下来求一下高斯分布的特征函数，后面用的到

$$\begin{gathered} f_Z(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-m{)}^2}{2{\sigma }^2}){\varphi }_Z(\omega )={\int }_{-\infty }^{+\infty }exp(j\omega x)f_Z(x)dx \\ ={\int }_{-\infty }^{+\infty }exp(j\omega x)\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-m{)}^2}{2{\sigma }^2})dx \\ ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-m{)}^2}{2{\sigma }^2}+j\omega x)dx \end{gathered}$$

  上式可以进行配方

$$\begin{gathered} {\varphi }_Z(\omega )={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-m-j\omega {\sigma }^2{)}^2}{2{\sigma }^2}+j\omega m-\frac{{\omega }^2{\sigma }^2}{2})dx \\ =exp(j\omega m-\frac{{\omega }^2{\sigma }^2}{2})\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }exp(-\frac{(x-m-j\omega {\sigma }^2{)}^2}{2{\sigma }^2})dx \end{gathered}$$

  后面也是一个高斯分布，但是是带有复数的高斯分布。对于复变函数来说，复指函数中，带复数的积分和不带复数的积分是一样的。

  下面的红线是实数的积分区间，上面的蓝线是复数的积分区间。

  因为指数复函数在全平面是个解析函数,其解析函数的回路积分为0，我们可以构造这样的回路。

$$exp(-\frac{Z^2}{2{\sigma }^2})$$

  其次，我们可以证明，当时间区域无穷大的时候，竖直的复变函数积分为0

$$\begin{gathered} {\int }_0^{\omega {\sigma }^2}exp(-\frac{(A+jy{)}^2}{2{\sigma }^2})dy \\ ={\int }_0^{\omega {\sigma }^2}exp(-\frac{A^2}{2{\sigma }^2})exp(j{c}_{1}y)exp(c_2{y}^2)dy \end{gathered}$$

  因为y = ωσ²一定是有界的，后面两个指数是有界的。当积分区间无穷大的时候，A趋近于无穷大，指数趋近于0。就可以证明左右两端的积分是0。因此上下的积分结果是相等的

  因此，我们可以得到

$$\begin{gathered} {\varphi }_Z(\omega )=exp(j\omega m-\frac{{\omega }^2{\sigma }^2}{2})\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }exp(-\frac{(x-m-j\omega {\sigma }^2{)}^2}{2{\sigma }^2})dx \\ =[exp(j\omega m-\frac{{\omega }^2{\sigma }^2}{2})][\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }exp(-\frac{(x-m{)}^2}{2{\sigma }^2})dx] \end{gathered}$$

  后面就是一个标准的高斯分布，积分为1。而前面一部分也是一个高斯分布。并且如果均值m为0，就是一个标准的高斯分布。

$${\varphi }_Z(\omega )=exp(j\omega m-\frac{{\omega }^2{\sigma }^2}{2})$$
  我们可以得到，高斯分布的特征函数仍然是一个高斯分布。也就是高斯函数经过傅里叶变换之后，仍然是高斯，改变的不过是形状的粗细和胖瘦。如果时域高斯是瘦的，频域高斯就一定是胖的。

  均值为0的高斯分布的特征函数如下

$$\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{x^2}{2{\sigma }^2})\leftrightarrow exp(-\frac{1}{2}{\sigma }^2{\omega }^2)$$

4.1.4 特征函数与随机变量和的分布

  特征函数非常适合处理随机变量和的问题。因为如果n个随机变量的和的分布函数，是这个n个随机变量分布函数的卷积。

  我们可以证明一下

$$\begin{gathered} Z_1,Z_2,...,Z_{n}i.i.d\Rightarrow {\varphi }_{Z_k}(n) \\ Y=Z_1+...+Z_n \end{gathered}$$

  假设n个独立同分布随机变量Z，其特征函数为φ，因为是同分布，因此，所有的特征函数都是一样的

$$\begin{gathered} \varphi (Y)=\Phi (Z_1+...+Z_n) \\ =E(exp(j\omega Y))=E(exp(j\omega \sum _{k=1}^n{Z}_k)) \\ =E(\prod _{k=1}^{n}exp(j\omega Z_k)) \\ =\prod _{k=1}^{n}E(exp(j\omega Z_k)) \\ =\prod _{k=1}^n{\varphi }_{Z_k}(\omega ) \end{gathered}$$

  我们发现n个独立同分布随机变量的和的特征函数是乘积的形式，那么这个和必然在时域上就是卷积的形式，因此n个独立同分布随机变量的和的概率密度是这些随机变量概率密度的卷积。

4.1.5 中心极限定理的证明

$$\begin{gathered} li{m}_{n\to +\infty }\frac{Z_1+...+Z_n}{\sqrt{n}}=N(0,1) \\ E(Z_k)=0 \\ Var(Z_k)=1 \end{gathered}$$

  有了特征函数的概念之后，我们就能够证明中心极限定理了，我们只需要证明左边式子的特征函数等于右边函数的特征函数即可

$$\text{Left}$$

$$\begin{gathered} {\Phi }_{\frac{Z_1+...+Z_n}{\sqrt{n}}}=E(exp(j\omega \frac{Z_1+...+Z_n}{\sqrt{n}})) \\ ={\varphi }_{Z_1+...+Z_n}(\frac{\omega }{\sqrt{n}}) \\ ={\int }_{-\infty }^{+\infty }exp(j\omega \frac{Z_1+...+Z_n}{\sqrt{n}})f(\frac{Z_1+...+Z_n}{\sqrt{n}})d\frac{Z_1+...+Z_n}{\sqrt{n}} \\ =\prod _{k=1}^n{\int }_{-\infty }^{+\infty }exp(j\omega \frac{Z_k}{\sqrt{n}})f(\frac{Z_k}{\sqrt{n}})d\frac{Z_k}{\sqrt{n}} \\ =\prod _{k=1}^n{\varphi }_{Z_k}(\frac{\omega }{\sqrt{n}}) \end{gathered}$$

  同分布意味着分布函数都是一样的，因此上式可以表示为

$$\begin{gathered} {\Phi }_{\frac{Z_1+...+Z_n}{\sqrt{n}}}=\prod _{k=1}^n{\varphi }_{Z_k}(\frac{\omega }{\sqrt{n}}) \\ =(\varphi (\frac{\omega }{\sqrt{n}}){)}^n(1) \end{gathered}$$

  我们用泰勒展开表示一下这个特征函数，对e展开到二阶。由于虚数平方是负的，注意二阶项的符号也是负的

$$\begin{gathered} \varphi (\frac{\omega }{\sqrt{n}})=E(exp(jZ\frac{\omega }{\sqrt{n}})) \\ =E(1+j\frac{\omega }{\sqrt{n}}Z-\frac{1}{2}{Z}^2\frac{{\omega }^2}{n}+O(\frac{1}{n})) \end{gathered}$$

  我们前面约束过了随机变量Z的均值为0，方差为1。可以用在这里面

$$\varphi (\frac{\omega }{\sqrt{n}})=1-\frac{1}{2}\frac{{\omega }^2}{n}+O(\frac{1}{n})(2)$$

  把(2)式代入(1)中,并且使用等价无穷小表示极限可以得到

$$\begin{gathered} li{m}_{n\to +\infty }{\Phi }_{\frac{Z_1+...+Z_n}{\sqrt{n}}}=li{m}_{n\to +\infty }(\varphi (\frac{\omega }{\sqrt{n}}){)}^n \\ =li{m}_{n\to +\infty }(1-\frac{1}{2}\frac{{\omega }^2}{n}+O(\frac{1}{n}){)}^n \\ =li{m}_{n\to +\infty }exp[nlog(1-\frac{1}{2}\frac{{\omega }^2}{n})]\sim exp(n\ast (-\frac{1}{2}\frac{{\omega }^2}{n})) \\ =exp(-\frac{1}{2}{\omega }^2) \end{gathered}$$

  然后我们求一下右边式子的特征函数

$$\text{Right}$$

  我们前面已经得到了高斯分布的特征函数

$$\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{x^2}{2{\sigma }^2})\leftrightarrow exp(-\frac{1}{2}{\sigma }^2{\omega }^2)$$

  令方差为1可得

$$exp(-\frac{1}{2}{\omega }^2)$$

  左式等于右式，因此中心极限定理成立

  因此，我们引入了特征函数，可以帮助我们理解随机变量的叠加问题。

4.2 大数定理证明

  我们也可以用同样的方法证明大数定理

$$\begin{gathered} \text{Law of Large Numbers} \\ li{m}_{n\to +\infty }\frac{Z_1+...+Z_n}{n}=m \\ {Z}_1,...Z_{n}i.i.d \\ E(Z_i)=m \end{gathered}$$

  如果m个独立同分布的随机变量均值为m，那么这些随机变量的和除以n的均值也是m

  值得注意的是，大数定理下面除的是n，中心极限定理下面除的是根号n

  我们表示一下特征函数
$${\Phi }_{\frac{Z_1+...+Z_n}{n}}=\prod _{k=1}^n{\varphi }_{Z_k}(\frac{\omega }{n})=(\varphi (\frac{\omega }{n}){)}^n$$

  然后求一下单个随机变量的特征函数，用泰勒展开到一阶项

$$\varphi (\frac{\omega }{n})=E(exp(jZ\frac{\omega }{n}))=E(1+jZ\frac{\omega }{n}+O(\frac{1}{n}))=1+j\frac{m\omega }{n}$$

$$(\varphi (\frac{\omega }{n}){)}^n=(1+j\frac{m\omega }{n}{)}^n=e^{jm\omega }$$

  这个是概率密度函数为δ(x-m)的特征函数

$$f(x)=\{\begin{array}{ll}\infty & \text{if }x=m\\ 0& \text{if }others\end{array}$$

  求一下特征函数

$$\begin{gathered} {\int }_{-\infty }^{+\infty }f(x)exp(j\omega x)dx \\ ={\int }_{-\infty }^{+\infty }\delta (x-m)exp(j\omega x)dx \\ =exp(j\omega m){\int }_{-\infty }^{+\infty }\delta (x-m)dx=exp(j\omega m) \end{gathered}$$

  求一下均值

$$\begin{gathered} E(f(x))={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{+\infty }x\delta (x-m)dx \\ =m{\int }_{-\infty }^{+\infty }\delta (x-m)dx=m \end{gathered}$$

  然后，我们就得到了大数定理

4.3 中心极限定理与大数定理的关系

  大数据定理和中心极限定理告诉我们，n个独立同分布随机变量的和是和n的某个幂次同阶的。当n是半阶的时候，对随机性的压缩没有那么大，会得到一个高斯分布。而如果n是1阶的话，随机性是完全消失了的，但是如果n再大任意一点，得到的就是结果就是0。因为相当于是一个常数，再除以n的幂次了

$$li{m}_{n\to \infty }\frac{Z_1+...+Z_n}{n^{1+\delta }}=0$$

  中心极限定理和大数定理之间的阶次有一个临界点，如果阶次再大一点，就是常数了，一直到到大数定理都是常数。这个临界点被证明出来了

$$\sqrt{nlnlnn}$$

  得到的这个结果叫做重对数律

4.3 中心极限定理的应用–随机游动问题

  下面基于中心极限定理，我们研究一下随机游动现象。我们会发现，用中心极限定理研究随机游动现象得到的结论也是一个高斯过程。

  我们假设Z(t)表示t时刻在数轴上的位置

$$Z(t)t=n\Delta t$$

  每个时刻都有相同的概率可以往左或者往右移动一格。每次移动的距离都是△x，每次游动的概率都是1/2

  我们要明确的问题是，在(0,t)时刻内，到底走到了哪里

  我们定义一个函数S_n表示向右移动的次数

$$S_n\text{Step Number to Right}$$

  则，t时刻在数轴上的位置可以表示为向左的次数和向右的次数的和

$$Z(t)=S_n\Delta x+(n-S_n)(-\Delta x)=\Delta x(2S_n-n)$$

  我们假设Z_k表示第k次的移动情况，第k个时刻向右走记做1，向左走记做0

$$Z_k=\{\begin{array}{ll}1& \text{right }\\ 0& \text{left }\end{array}$$

  则S_n可以表示为

$$S_n=Z_1+...+Z_n$$

  我们计算一下均值

$$\begin{gathered} E(Z(t))=\Delta xE(S_n)+(n-E(S_n))(-\Delta x) \\ =\Delta x(2E(S_n)-n)=0 \end{gathered}$$

  计算一下方差

$$\begin{gathered} Var(Z(t))=\Delta x^{2}Var(2S_n-n)=\Delta x^{2}Var(2S_n) \\ =4\Delta x^{2}Var(S_n)=4\Delta x^{2}Var(Z_1+...+Z_n) \\ =4\Delta x^2(Var(Z_1)+...+Var(Z_n)) \\ =4\Delta x^2\frac{1}{4}n \\ =n\Delta x^2 \end{gathered}$$

  由于我们希望使用中心极限定理，我们要把每个Z(t)变成期望为0，方差为1的随机变量，所以，我们就要除以方差的根号

$$\begin{gathered} Z(t)=\Delta x(2S_n-n) \\ =\frac{S_n-\frac{n}{2}}{\sqrt{\frac{1}{4}}\sqrt{n}}\ast \sqrt{n}\ast \Delta x \\ =\frac{S_n-\frac{n}{2}}{\sqrt{\frac{1}{4}}\sqrt{n}}\ast \Delta x\ast \sqrt{\frac{t}{\Delta t}} \\ =\frac{S_n-\frac{n}{2}}{\sqrt{\frac{1}{4}}\sqrt{n}}\ast \frac{\Delta x}{\sqrt{\Delta t}}\sqrt{t} \end{gathered}$$

  在这里我们对x和t趋近于0的速度做一个约束
$$\begin{gathered} \text{Let }li{m}_{\Delta x\to 0,\Delta t\to 0}(\frac{\Delta x}{\sqrt{\Delta t}}{)}^2=D \\ \text{Then } \\ Z(t)=\frac{S_n-\frac{n}{2}}{\sqrt{\frac{1}{4}}\sqrt{n}}\ast \sqrt{Dt} \end{gathered}$$

  我们发现现在随机变量Z(t)变成了，前面是均值0方差1的随机变量，后面乘以常数 \sqrt{Dt}

  因此，对Z(t)使用中心极限定理的话，可以得到

$$\begin{gathered} li{m}_{n\to \infty }\frac{Z_1(t)+...+Z_n(t)}{\sqrt{n}}=N(0,1)\sqrt{Dt}=N(0,Dt) \\ =\frac{1}{\sqrt{2\pi Dt}}exp(-\frac{x^2}{2Dt}) \end{gathered}$$

  得到了与分子扩散运动一样的结果。我们发现随机游动经过中心极限定理之后也可以转化为高斯过程。因此，我们可以发现高斯过程是非常普遍的。