笔记：随机过程（张颢2024）——1.随机过程概念及其分类

BalaDashi

已于 2024-12-14 23:41:51 修改

阅读量1.1k

点赞数 25

分类专栏：随机过程文章标签：笔记

于 2024-12-13 17:38:06 首次发布

本文链接：https://blog.csdn.net/baladashi/article/details/144433326

版权

随机过程专栏收录该内容

3 篇文章

订阅专栏

1.1. 综述

随机变量

样本空间到实数轴的函数 $X: \Omega \rightarrow \mathbb{R}$ ，

分布函数 $F_X(x)$ ，概率密度函数 $f_X(x)$ ，k阶矩 $E(X^k)$

随机过程

多个随机变量的关系

(1). 线性相关

时域

频域

Gaussian过程

(2). 马尔可夫性

1). 离散时间

2). 连续时间

3). Poisson过程

(3). 鞅（Martingale）

金融领域

1.2. 线性相关

1.3 相关的性质

1.3.1 与独立的关系

独立与不相关（正交， $E(XY)=EX EY$ ，若X,Y均值为0，则 $E(XY)=0$ ）的关系为

独立一定不相关，不相关不一定独立

1.3.2 柯西不等式

$|E(XY)| \leqslant (E(X^2)E(Y^2))^{1/2}$

$|R_{XY}| \leqslant (R_{XX}R_{YY})^{1/2}$

1.3.3 自相关矩阵

$X=(x_1,x_2,\dots, x_n)^T$ ， $E(XX^T)=R_X$ 即为自相关矩阵。

自相关矩阵对称且正定。

对称性证明

$R_X(i,j)=E(x_i x_j)=E(x_j,x_i)=R_X(j,i)$

正定性的证明

$\forall z \in \mathbb{R}, z^T R_z z=z^T E(z z^T)z=E(z^T z z^T z)=E(z^T z)^2$

而且 $z^T z$ 为一个数（ $z$ 中所有元素的平方和），故 $z^T R_z z \geqslant 0$ ， $R_z$ 正定。

1.4 随机函数

若对定义域内的一个自变量 $t_0$ ，均有一个随机变量 $X(t_0)=\omega_0$ 与之对应（一般的函数对应的是一个确定的值），则表示该随机过程的函数 $X(t)$ （也可写作 $X(\omega,t)$ ）被称为随机函数。大多数情况下，随机过程和随机函数等价。随机函数的一组值被称为样本轨道，例如股票曲线，一天确定的值就是一组样本轨道，而当天的曲线有无数种可能。

对一个随机函数，在不同时刻取值的乘积的期望 $R_X(t,s)=E(X(t)X(s))$ ，被称为（自）相关函数。

相关函数即是连续随机变量的相关矩阵，同样具有对称性和正定性，且满足柯西不等式。即

$R_X(t,s)=R_X(s,t)$

$R_X(t,t) \geqslant 0$

$|R_{X}(t,s)| \leqslant (R_{X}(t,t)R_{X}(s,s))^{1/2}$

证明略。

1.5 随机过程的平稳性质

宽平稳（w.w.s.）性质：

① $E(X(t))\equiv m(t)$ ，其中，为 $m(t)$ 确定函数或常数

② $R_X(t+T,s+T)=R_X(t,s),\ \forall T$ ，也可以写作 $R_X(t-s)=R_X( \tau )$

由以上两个特性可以判断随机过程是否满足宽平稳，并得出以下推论

③ $|R_X( \tau )| \leqslant R_X(0)$

④如果 $X(t)$ 宽平稳，且 $R_X(0)=R_X(T)$ ，则 $R_X(T+\tau)=R_X(\tau),\ \forall \tau$

⑤如果 $R_X(\tau)$ 在 $\tau =0$ 连续，则 $R_X(\tau)$ 处处连续。

1.10 补充知识：

1.10.1 重要分布：

离散：伯努利、二项、Poisson分布

连续：均匀、指数、Gaussian

1.10.2 柯西不等式证明（内积）

内积形式的柯西不等式为

$|\left \langle x,y \right \rangle | \leqslant (\left \langle x,x \right \rangle ,\left \langle y,y \right \rangle )^{1/2}$

证明：构造辅助函数

$0\leqslant g(\alpha)=\left \langle \alpha x+y,\alpha x+y\right \rangle$

有非负性，且其展开为

$g(\alpha)=\alpha ^2 \left \langle x,x \right \rangle + 2 \alpha \left \langle x,y \right \rangle + \left \langle y,y \right \rangle$

对 $\alpha$ 是开口向上的函数，其 $\Delta$ 判别式为

$\Delta(\alpha) = 4 (\left \langle x,y \right \rangle)^2 - 4(\left \langle x,x \right \rangle\left \langle y,y \right \rangle)$

由于 $g(\alpha)$ 开口向上且非负， $g(\alpha)=0$ 无解或只有一个解，故

$\Delta(\alpha) = 4 (\left \langle x,y \right \rangle)^2 - 4(\left \langle x,x \right \rangle\left \langle y,y \right \rangle) \leqslant 0$

即

$(\left \langle x,y \right \rangle)^2 \leqslant (\left \langle x,x \right \rangle\left \langle y,y \right \rangle)$

两边开方

$|\left \langle x,y \right \rangle | \leqslant (\left \langle x,x \right \rangle ,\left \langle y,y \right \rangle )^{1/2}$

得证！

1.10.3 相关函数性质④证明

性质④：如果 $X(t)$ 宽平稳，且 $R_X(0)=R_X(T)$ ，则 $R_X(T+\tau)=R_X(\tau),\ \forall \tau$

证明：若要证明 $R_X(T+\tau)=R_X(\tau),\ \forall \tau$ ，考虑先证明 $E|X(t)-X(t+T)|^2=0$

由 $R_X(0)=R_X(T)$ ，可知 $\forall t,\ E(X(t)X(t))=E(X(t)X(t+T))$ ，左边还等于

$R_X(0)=E(X^2(t))=E(X^2(t+T))$

即有

$\begin{aligned} E|X(t)-X(t+T)|^2 &=E(X^2(t))+E(X^2(t+T))-2E(X(t)X(t+T)) \\ &=2R_X(0)-2R_X(T) \\ &=0 \end{aligned}$

又因为 $R_X(T+\tau)=R_X(\tau)\Leftrightarrow |E(X(0)X(\tau))-E(X(0)X(\tau+T))|$

期望具有线性性质，有

$\begin{aligned} |E(X(0)X(\tau))-E(X(0)X(\tau+T))|&=|E(X(0)X(\tau)-X(0)X(\tau+T))| \\ &=|E(X(0)(X(\tau)-X(\tau+T)))| \end{aligned}$

由于乘积的绝对值小于等于绝对值的乘积，

$\begin{aligned} |E(X(0)(X(\tau)-X(\tau+T)))| &\leqslant E(|X(0)| |X(\tau)-X(\tau+T)|) \\ &\leqslant E(X^2(0))(E|X(\tau)-X(\tau+T)|^2)^{1/2} \\ &=0 \end{aligned}$