随机过程1
概述
本系列文章计划总结整理中国科学院大学《随机过程》课程相关知识,课程主讲老师:张颢
1.参考书目
- 《随机过程及其应用》–陆大金 张颢 ;
- 《Probability Random Variables and Stochastic Process》–Dapoulis,4th Edition;
- 《Stochastic Process》–S.Ross,2ed Edition ;
- 《Introduction to Stachastic Models》,7th Edition ;
2.主要内容
随机过程主要研究:多个随机变量之间的关联关系。关联关系有:
关 联 关 系 = { L i n e a r R e l a t i o n s h i p ( C o r r e l a t i o n ) 线 性 关 系 主 要 研 究 工 具 : 相 关 M a r k o v p r o p e r t y 研 究 连 续 和 离 散 M a r t i n g a l e 鞅 , 随 机 过 程 在 金 融 中 的 应 用 ( 选 讲 ) 关联关系=\left\{ \begin{aligned} Linear Relationship(Correlation) &&线性关系 主要研究工具:相关 \\ Markov property && 研究连续和离散 \\ Martingale && 鞅,随机过程在金融中的应用(选讲) \end{aligned} \right. 关联关系=⎩⎪⎨⎪⎧LinearRelationship(Correlation)MarkovpropertyMartingale线性关系主要研究工具:相关研究连续和离散鞅,随机过程在金融中的应用(选讲)
3.概率论–基本概念回顾
概率论主要研究:随机性/不确定性(Randomness<=>Uncertainty)。
3.1对“不确定性”的认识
对于一般人来说“某次抛硬币的结果”是不确定的。但是,如果一个人熟练的掌握抛硬币整个过程的物理特性,如“抛时的用力“,”空气动力学”等知识;那么他在硬币起抛后对结果是确定的。爱因斯坦曾经说过:“引入不确定性是对无知的妥协”。那么,我们该如何正确看待不确定性呢?对于一般人而言,必须明确区分<有没有必要/有没有能力 知道不确定性>。
3.2 应对“不确定性”应该怎么做
设计统计实验,统计实验事先不知道实验结果,一次实验会产生一个结果;将所有可能的结果放在一起,构成样本空间;研究每个统计结果可能出现的概率。
S
t
a
t
i
s
t
i
c
a
l
E
x
p
e
r
i
m
e
n
t
<
=
>
S
a
m
p
l
e
S
p
a
c
e
(
Ω
)
<
=
>
P
r
o
b
a
b
i
l
i
t
y
(
P
o
s
s
i
b
i
l
i
t
y
)
Statistical Experiment<=>Sample Space(\Omega)<=>Probability(Possibility)
StatisticalExperiment<=>SampleSpace(Ω)<=>Probability(Possibility)
概率的重要特性:可数可加性
3.3随机变量(Random Variable)
随机变量是一个函数,具有确定的形式;是由样本空间->函数值的一个确定的映射。随机变量本身没有随机性,具有随机性的是:样本空间中的样本点。随机变量的作用是:对样本空间中的样本点起量化作用。因为,统计实验的结果没有数值意义。如抛硬币实验的结果是“正”、”负“,需要将结果进行数值化后,才能够进行数学计算。
X
:
Ω
−
>
R
(
D
e
t
e
r
m
i
n
e
d
)
X:\Omega->R(Determined)
X:Ω−>R(Determined)
3.4分布函数(Distribution Function)
F X = P ( X ≤ x ) = P ( { ω : X ( ω ) ≤ x } ) F_X=P(X\leq x)=P(\{\omega:X(\omega)\leq x\}) FX=P(X≤x)=P({ω:X(ω)≤x})
3.5概率密度(Density)
概率密度函数为分布函数的导数,概率密度函数的两个特性:恒大于零、积分为1.
f
X
(
x
)
=
d
d
x
F
X
(
x
)
f_X(x)=\frac{d}{dx} F_X(x)
fX(x)=dxdFX(x)
3.6概率(Probability)
P
(
A
)
=
∑
x
∈
A
P
(
{
x
}
)
P(A)= \sum_{x \in A} P(\{ x\})
P(A)=x∈A∑P({x})
P
(
A
)
=
∫
A
f
X
(
x
)
d
x
P(A)= \int_A f_X(x)dx
P(A)=∫AfX(x)dx
4.随机过程
研究多个随机变量之间的关系,以下以两个随机变量X,Y为例,简单说明。
4.1 联合分布
X,Y两个随机变量,基于同一个样本空间,研究两个随机变量的取值之间的相互影响程度。
X
,
Y
:
Ω
−
>
R
X,Y:\Omega->R
X,Y:Ω−>R
P
(
X
=
x
,
Y
=
y
)
=
P
x
y
=
P
(
{
ω
:
X
(
ω
)
=
x
}
∩
{
ω
:
Y
(
ω
)
=
y
}
)
P(X=x,Y=y)=P_{xy}=P(\{\omega :X(\omega)=x\} \cap \{\omega :Y(\omega)=y\})
P(X=x,Y=y)=Pxy=P({ω:X(ω)=x}∩{ω:Y(ω)=y})
4.2分布密度–观察两个变量之间的关联
二元函数的分布函数为联合函数的混合偏导数。分布函数形式确定了两个随机变量之间的取值影响关系,下面展示三个简单的例子。
例子1
f
X
Y
(
x
,
y
)
=
{
1
4
∣
x
∣
≤
1
,
∣
y
∣
≤
1
0
o
t
h
e
r
w
i
s
e
f_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{4} &&|x|\leq1, |y|\leq 1\\ 0 && otherwise \\ \end{aligned} \right.
fXY(x,y)=⎩⎨⎧410∣x∣≤1,∣y∣≤1otherwise
X在(-1,1) 之间任取一个确定的值时,Y的取值范围都是(-1,1);所以,不难看出X的取值不影响Y的取值。即两个随机变量之间没有任何关联。
例子2
f
X
Y
(
x
,
y
)
=
{
1
π
x
2
+
y
2
≤
1
0
o
t
h
e
r
w
i
s
e
f_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{\pi} &&x^2+y^2\leq1\\ 0 && otherwise \\ \end{aligned} \right.
fXY(x,y)=⎩⎨⎧π10x2+y2≤1otherwise
X在(-1,1) 之间取一个确定的值时,Y的取值范是在变化的;所以,不难看出X的取值会影响Y的取值。即两个随机变量之间有某种关系。
例子3
下例不考虑概率密度的严格形式,图为概率等高线投影图。直观看来,此时X,Y之间的关系近似于线性。
三个例子小结:
概率密度投影(方->圆->椭圆),随机变量X,Y之间的关系趋向于线性。那么两者之间的关系可否写出例如
y
=
α
x
y=\alpha x
y=αx的形式?
y
=
α
x
=
>
Y
?
=
α
X
(
Y
(
ω
)
?
=
α
X
(
ω
)
)
y=\alpha x=>Y?=\alpha X(Y(\omega)?=\alpha X(\omega))
y=αx=>Y?=αX(Y(ω)?=αX(ω))
有两种方法来研究此关系式。
4.3 两种方法定性分析X,Y之间的关系
4.3.1方法1:
步骤1: Metric 明确度量
步骤2: Optimization 优化
要考虑上述关系式子是否成立,首先要考虑”=“是否成立;其次比例系数
α
\alpha
α是多少。用
d
(
Y
,
α
X
)
d(Y,\alpha X)
d(Y,αX)表示
Y
,
α
X
Y,\alpha X
Y,αX之间的距离,则目标是将此距离控制在尽可能小的范围内。如果采用均方距离,目标函数为:
min
α
(
d
(
Y
,
α
X
)
)
=
min
α
(
E
∣
Y
−
α
X
∣
2
)
\min_{\alpha}(d(Y,\alpha X))=\min_{\alpha}(E|Y-\alpha X|^2)
αmin(d(Y,αX))=αmin(E∣Y−αX∣2)
g
(
α
)
=
E
∣
Y
−
α
X
∣
2
g(\alpha)=E|Y-\alpha X|^2
g(α)=E∣Y−αX∣2
▽
α
g
(
α
)
=
▽
α
(
E
∣
Y
∣
2
+
α
2
E
∣
X
∣
2
−
2
α
E
∣
X
Y
∣
)
=
2
α
E
∣
X
∣
2
−
2
E
∣
X
Y
∣
=
0
\bigtriangledown _\alpha g(\alpha)=\bigtriangledown _\alpha(E|Y|^2+\alpha ^2E|X|^2-2\alpha E|XY|)=2\alpha E|X|^2-2E|XY|=0
▽αg(α)=▽α(E∣Y∣2+α2E∣X∣2−2αE∣XY∣)=2αE∣X∣2−2E∣XY∣=0
=
>
α
=
E
∣
X
Y
∣
E
∣
X
∣
2
=>\alpha =\frac{E|XY|}{E|X|^2}
=>α=E∣X∣2E∣XY∣
α
\alpha
α中的E(XY)表征了 随机变量XY之间的相关关系,E(XY)为二元函数
H
∗
H
−
>
R
H*H->R
H∗H−>R,具有:非负、对称、双线性三个性质(三个性质的展示缺失)。与此同时,以上三个性质符合内积的定义。所以E(XY)的几何含义为:
E
(
X
Y
)
=
<
X
,
Y
>
E(XY)=<X,Y>
E(XY)=<X,Y>
仿照两向量间夹角公式:
cos
∠
(
x
,
y
)
=
<
x
,
y
>
<
x
,
x
>
<
y
,
y
>
=
x
T
y
∣
∣
x
∣
∣
2
∣
∣
y
∣
∣
2
\cos \angle(x,y)=\frac{<x,y>}{<x,x><y,y>}=\frac{x^Ty}{||x||_2||y||_2}
cos∠(x,y)=<x,x><y,y><x,y>=∣∣x∣∣2∣∣y∣∣2xTy
cos
∠
(
X
,
Y
)
=
E
(
X
Y
)
E
∣
X
∣
2
E
∣
Y
∣
2
(
C
o
r
r
e
l
a
t
i
o
n
C
o
e
f
f
i
c
i
e
n
t
)
\cos \angle(X,Y)=\frac{E(XY)}{\sqrt{ E|X|^2E|Y|^2}}(Correlation Coefficient)
cos∠(X,Y)=E∣X∣2E∣Y∣2E(XY)(CorrelationCoefficient)
如果E(XY)=0
=
>
cos
∠
(
X
,
Y
)
=
π
2
=
>
O
r
t
h
o
g
o
n
a
l
i
t
y
=>\cos \angle(X,Y)=\frac{\pi}{2}=>Orthogonality
=>cos∠(X,Y)=2π=>Orthogonality
4.3.2 方法2
从几何的角度解释X,Y之间的关系:
变量Y拟合直线在水平坐标轴上的投影为:
l
=
∣
∣
Y
∣
∣
c
o
s
α
=
∣
∣
Y
∣
∣
<
X
,
Y
>
∣
∣
X
∣
∣
∣
∣
Y
∣
∣
=
<
X
,
Y
>
∣
∣
X
∣
∣
l=||Y||cos\alpha=||Y||\frac{<X,Y>}{||X||||Y||}=\frac{<X,Y>}{||X||}
l=∣∣Y∣∣cosα=∣∣Y∣∣∣∣X∣∣∣∣Y∣∣<X,Y>=∣∣X∣∣<X,Y>
l
⃗
=
l
X
∣
∣
X
∣
∣
=
<
X
,
Y
>
∣
∣
X
∣
∣
X
∣
∣
X
∣
∣
=
<
X
,
Y
>
∣
∣
X
∣
∣
2
X
=
E
(
X
,
Y
)
E
∣
X
∣
2
X
\vec l=l\frac{X}{||X||}=\frac{<X,Y>}{||X||}\frac{X}{||X||}=\frac{<X,Y>}{||X||^2}X=\frac{E(X,Y)}{E|X|^2}X
l=l∣∣X∣∣X=∣∣X∣∣<X,Y>∣∣X∣∣X=∣∣X∣∣2<X,Y>X=E∣X∣2E(X,Y)X
5.总结
随机过程主要研究多个随机变量之间关系,通过各种方法表示这些关系。此文对随机过程的实际应用讨论缺失,希望能在此后的文章中填补此块空白。(6h)