随机过程的定义
直观定义
随机过程是一组依赖于实参数t的随机变量,这个实参数可以取连续值也可以离散,记为 { X ( t ) , t ∈ R } \{ X(t) ,t\in \mathbb R \} {X(t),t∈R} 或 { X ( n ) , n ∈ N } \{X(n), n \in \mathbb N\} {X(n),n∈N}
R e m a r k : Remark: Remark:
- 随机过程中的过程二字,暗示了这个参数t通常表明的是时间
- 随机过程可以看作是一组随机变量(r.v.)由一种index串起来,这个index就是实参数t或n
更数学化的定义
设 ( Ω , Σ , P ) (\Omega,\Sigma,P) (Ω,Σ,P)为一概率空间,其中 Ω \Omega Ω为样本空间, Σ \Sigma Σ为事件域,P为定义在 Σ \Sigma Σ上的函数,称随机变量族 X T = X ( t , w ) ; t ∈ T X_T={X(t,w);t\in T} XT=X(t,w);t∈T为该概率空间上的一随机过程
用映射可以表示为:
X ( t , ω ) : T × Ω → R X(t,\omega): T \times \Omega \rightarrow R X(t,ω):T×Ω→R
R e m a r k Remark Remark:
- 概率论中,事件域为样本空间幂集的子集,即 Σ ⊂ 2 Ω \Sigma \subset 2^{\Omega} Σ⊂2Ω
- 随机变量族的意思是"一串"随机变量
- X(t,w)通常简写为X(t)。但是心里要明白这个函数其实是一个二元函数。
-
- X(t,w)中固定 t t t 时,X(t,w)得到了一个随机变量
- X(t,w)中固定 ω \omega ω 时,X(t,w)就得到了一次"实现",去除掉了随机性,称为一个样本函数
终极总结: 随机过程就是由一个index串起来的一串随机变量。这个index可以是连续的也可以是离散的,通常带有时间的含义
几何的视角来看随机变量
首先来复习下概率论中的"相关性"
图源: 张灏–随机过程–清华大学
在由上图中f(x,y)确定的(X,Y)的分布中,X与Y是独立的,因为任意固定x的值,y的分布没有变化。可见x与y独立
而在上图中,固定不同的x的值,会影响y的分布的变化,可见x与y并不独立
对于上图中纺锤形的分布函数,x与y也不是独立的(固定不同的x的值,y的分布会变化),但是两者显然有一些相关性–随着x的增大,y在统计上也是增大的
相关系数,就是用来衡量这个纺锤胖瘦的量,相关系数越大,那么这个纺锤的线性度就越高
简单的线性回归
下面整一点简单的线性回归内容:
对于上图中的纺锤,我想找出一条直线最优的直线Y=aX,来刻画X与Y之间的关系,那么这个a的最优值是多少?结论如下
欲寻求一个 α ,即 Y = α X ,从而有 α o p t = a r g m i n α E ( Y − α X ) 2 等号右边也就是均方误差 结论是 α o p t = E ( X Y ) E ( X 2 ) 欲寻求一个\alpha,即Y=\alpha X ,从而有\\\alpha_{opt}=argmin_{\alpha} E(Y-\alpha X)^2\\ 等号右边也就是均方误差\\结论是\alpha_{opt}=\frac{E(XY)}{E(X^2)} 欲寻求一个α,即Y=αX,从而有αopt=argminαE(Y−αX)2等号右边也就是均方误差结论是αopt=E(X2)E(XY)
证明: //TODO
"相关"在概率论中的重要地位
对于两个R.V. 即X与Y, 其相关定义为
-
实数域上: E(XY)
-
复数域上: E ( X Y ‾ ) E(X\overline Y) E(XY)
其中复数域上的定义蕴含了实数域中的定义。但是,在平常的讨论中,可以拿实数域上的定义进行分析,如果要变成复数域,只需要在分析过程中多写几根横线就可以了,这个区分并不本质
Remark:
- 实际上上面对相关的定义是针对X和Y为零均值的情况,也有很多时候是像下面这样定义的: E((X-EX)(Y-EY))=Cov(X, Y),经过简单推导可以知道这种定义与上边定义的关系为:
E((X-EX)(Y-EY))=EXY - EXEY
也就是说,对于R.V.来说协方差和相关之间只相差一个常数,而这个相差的东西也并不本质,协方差和相关在概率论中的地位是等同的。一般来说,相关还是定义为E(XY)的形式
例: X = c o s ( θ ) X=cos(\theta) X=cos(θ) 和 Y = s i n θ Y=sin\theta Y=sinθ 有一定的联系,即平方和为1,但是他们的相关EXY=0。这里定义的相关实际指的是线性相关
下面重点来了:
从几何的视角来看,相关运算可以定义为一种内积,即E(XY)=<X,Y>
一个运算想要称为内积, 需要满足如下性质
⟨
x
,
y
⟩
:
H
×
H
→
R
1.
共轭对称性
⟨
x
,
y
⟩
=
⟨
y
,
x
⟩
2.
非负
⟨
x
,
x
⟩
⩾
0
3.
非退化
⟨
x
,
x
⟩
=
0
⇔
x
=
0
\langle x, y\rangle: H \times H \rightarrow \mathbb{R}\\1. 共轭对称性 \langle x, y\rangle=\langle y, x\rangle\\ 2. 非负 \langle x, x\rangle \geqslant 0\\3. 非退化\langle x, x\rangle=0 \Leftrightarrow x=0
⟨x,y⟩:H×H→R1.共轭对称性⟨x,y⟩=⟨y,x⟩2.非负⟨x,x⟩⩾03.非退化⟨x,x⟩=0⇔x=0
4.
双线性
⟨
x
,
α
y
+
β
z
⟩
=
α
(
x
,
y
z
+
β
(
x
,
z
)
4.双线性\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)
4.双线性⟨x,αy+βz⟩=α(x,yz+β(x,z)
⟨
x
,
α
y
+
β
z
⟩
=
α
(
x
,
y
z
+
β
(
x
,
z
)
\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)
⟨x,αy+βz⟩=α(x,yz+β(x,z)
⟨
α
x
+
β
y
,
z
⟩
=
α
(
x
,
z
)
+
β
(
y
,
z
)
\langle\alpha x+\beta y, z\rangle=\alpha(x, z)+\beta(y, z)
⟨αx+βy,z⟩=α(x,z)+β(y,z)
可以验证,上述性质相关运算都是满足的。从而把随机变量嵌入到了内积空间中,不仅如此,随机变量还可以看作是向量
从而可以得到一些看起来不直观的结论,例如
- 随机变量X与随机变量Y之间的夹角的余弦
把内积变成相关,实际上,这个夹角的余弦就是相关系数
- 由于把R.V.可以看成是向量,从而甚至可以有柯西施瓦茨不等式
可见,相关运算在随机变量中相当于内积的地位,可见其重要性
相关函数
定义了R.V.的相关以后,自然可以定义随机过程的相关函数
-
自相关 R X ( t , s ) = E ( X ( t ) X ( s ) ) R_X(t, s)=E(X(t)X(s)) RX(t,s)=E(X(t)X(s))
-
互相关 R X Y ( t , s ) = E ( X ( t ) Y ( s ) ) R_{XY}(t,s)=E(X(t)Y(s)) RXY(t,s)=E(X(t)Y(s))
因为相关函数是用相关运算定义的,从而也有相关的性质,以及内积的性质(共轭对称等等)
上面的相关函数是一个二元函数,能不能变成一个一元函数呢?是可以的,只需要假设X(t)与Y(t)为宽平稳过程即可
宽平稳过程也有一些独特的性质,这些性质都可以由内积的性质简单结合宽平稳的定义推出,不赘述