随机变量
随机变量:定义在样本空间的实值函数。如两次骰子的和。两次硬币出现正面总次数。
可以给随机变量的可能值指定概率。
示性随机变量:如果随机变量I的取值取决于事件E是否发生,则称I为示性随机变量。如I表示:在正面骰子大于3时为1否则为0.
离散随机变量
离散随机变量X的累计分布函数F(b) = P{X<=b}
概率密度函数p(a) = P{X=a}
常见随机变量类型:
伯努利:成功或失败 (p ) EX=p
二项:多次伯努利 (n,p) EX=np
几何:几次实验才出现成功 EX=1/p
超几何:不放回模球
泊松:可以用来近似二项分布(lambda) Ex = lamda
期望:X可能取值的加权和。概率作为权。
连续随机变量
累积分布函数F XX
概率密度函数f XX
常见均匀变量:
均匀:(a,b) EX=(a+b)/2
指数: EX=1/lambda
伽马:(lamda,gama)
正态:
期望:积分 xf(x) dx
随机变量的函数
随机变量的函数:Y=g(X),给定X,有一个Y对应。
Y的期望:
E
(
g
(
x
)
)
=
∑
g
(
x
)
p
(
x
)
E(g(x)) = ∑g(x)p(x)
E(g(x))=∑g(x)p(x)
E
(
g
(
X
)
)
=
∫
g
(
x
)
f
(
x
)
d
x
E(g(X)) = \int g(x)f(x) dx
E(g(X))=∫g(x)f(x)dx
方差:
v
a
r
(
X
)
=
E
X
2
+
(
E
X
)
2
var(X) = EX^2 + (EX)^2
var(X)=EX2+(EX)2
联合分布的随机变量:
联合累积概率分布函数:
F
(
a
,
b
)
=
P
{
X
<
=
a
,
Y
<
=
b
}
F(a,b) = P\{X<=a, Y<=b\}
F(a,b)=P{X<=a,Y<=b}
a, b, F(a,b) , 都是实数。
离散:
联合概率质量函数:p(x,y) = P{X=x, Y=Y}
连续:
概率密度函数:
F
(
a
,
b
)
=
∫
−
∞
a
∫
−
∞
b
f
(
x
,
y
)
d
x
F(a,b) = \int^ a _ {-\infty} \int ^b _ {-\infty} f(x,y)dx
F(a,b)=∫−∞a∫−∞bf(x,y)dx
期望:
注意下面的公式不要求xy独立,任何情况下都成立
E
[
g
(
X
,
Y
)
]
=
{
∑
∑
g
(
x
,
y
)
p
(
x
,
y
)
,
离
散
∫
−
∞
a
∫
−
∞
b
g
(
x
,
y
)
f
(
x
,
y
)
d
x
d
y
,
连
续
E[g(X,Y)]=\left\{ \begin{aligned} \sum\sum g(x,y)p(x,y) & ,离散\\ \int^ a _ {-\infty} \int ^b _ {-\infty} g(x,y)f(x,y)dxdy &,连续 \end{aligned} \right.
E[g(X,Y)]=⎩⎪⎪⎨⎪⎪⎧∑∑g(x,y)p(x,y)∫−∞a∫−∞bg(x,y)f(x,y)dxdy,离散,连续
例如 E(X+Y)=EX+EY (任何情况下都成立)
独立随机变量
独立:如果 P{X<=a,Y<=b}=P{X<=a}P{Y<=b},则XY独立,或者说Fa和Fb独立。
特别的:
离散:
p
(
x
,
y
)
=
p
X
(
x
)
p
Y
(
y
)
p(x,y) = p_{_X} (x)p_{_Y}(y)
p(x,y)=pX(x)pY(y)
连续:
f
(
x
,
y
)
=
f
X
(
x
)
f
Y
(
y
)
(1)
f(x,y) = f_{_X} (x)f_{_Y}(y) \tag{1}
f(x,y)=fX(x)fY(y)(1)
特点:
如果XY独立。则:
E
[
g
(
X
)
h
(
Y
)
]
=
E
[
g
(
X
)
]
E
[
h
(
Y
)
]
E[g(X)h(Y)] =E[g(X)]E[h(Y)]
E[g(X)h(Y)]=E[g(X)]E[h(Y)]
协方差
C
o
n
v
(
X
,
Y
)
=
E
[
X
Y
]
−
E
[
X
]
E
[
Y
]
Conv(X,Y) = E[XY]-E[X]E[Y]
Conv(X,Y)=E[XY]−E[X]E[Y]
如果XY独立,则协方差为0,如果X增加,使得Y更可能增加,则协方差为正。
协方差的性质:
Conv(X,X) = Var(X)
Conv(X,Y)=Conv(Y,X)
Conv(cX,Y)=cConv(X,Y)
Conv(X,Y+Z)=Conv(X,Y)+Conv(X,Z)
其中:
V
a
r
(
X
)
=
E
[
X
2
]
−
(
E
X
)
2
Var(X) = E[X^2]-(EX)^2
Var(X)=E[X2]−(EX)2
称为方差,总体方差。
推论:
C
o
n
v
(
∑
X
i
,
∑
Y
i
)
=
∑
∑
C
o
n
v
(
X
i
,
Y
i
)
Conv(\sum X_i, \sum Y_i) = \sum \sum Conv( X_i, Y_i)
Conv(∑Xi,∑Yi)=∑∑Conv(Xi,Yi)
V
a
r
(
∑
X
i
)
=
∑
V
a
r
(
X
i
)
+
∑
i
=
1
∑
j
≠
i
C
o
n
v
(
X
i
,
Y
j
)
Var(\sum X_i) = \sum Var(X_i)+ \sum_{i=1}\sum_{j\ne i}{Conv(Xi,Yj)}
Var(∑Xi)=∑Var(Xi)+i=1∑j=i∑Conv(Xi,Yj)
V a r ( ∑ X i ) = ∑ V a r ( X i ) , i f X i 独 立 同 分 布 Var(\sum X_i) = \sum Var(X_i), if ~Xi独立同分布 Var(∑Xi)=∑Var(Xi),if Xi独立同分布
p41-42
当XY独立,可以计算出X+Y的分布。
F
X
+
Y
(
a
)
=
P
{
X
+
Y
≤
a
}
=
∬
x
+
y
≤
a
f
(
x
,
y
)
d
x
d
y
(
由
公
式
(
1
)
)
=
∬
x
+
y
≤
a
f
(
x
)
g
(
y
)
d
x
d
y
=
∫
−
∞
∞
F
X
(
a
−
y
)
g
(
y
)
d
y
F_{X+Y}(a)=P\{X+Y \le a \}\\ =\iint_{x+y \le a} f(x,y)dxdy ~(由公式(1))\\ =\iint_{x+y \le a} f(x)g(y)dxdy \\ =\int_{-\infty}^ \infty F_X(a-y)g(y)dy
FX+Y(a)=P{X+Y≤a}=∬x+y≤af(x,y)dxdy (由公式(1))=∬x+y≤af(x)g(y)dxdy=∫−∞∞FX(a−y)g(y)dy
微分得:
f
X
+
Y
(
a
)
=
∫
−
∞
∞
f
(
a
−
y
)
g
(
y
)
d
y
f_{X+Y}(a)=\int_{-\infty}^ \infty f(a-y)g(y)dy
fX+Y(a)=∫−∞∞f(a−y)g(y)dy
矩母函数
ϕ
(
t
)
=
E
[
e
e
X
]
\phi(t) = E[e^{eX}]
ϕ(t)=E[eeX]
利用矩母函数可以推出:
ϕ
(
n
)
(
0
)
=
E
[
X
n
]
\phi ^{(n)}(0) = E[X^n]
ϕ(n)(0)=E[Xn]
由此可以求n阶矩,并求出均值方差等。
矩母函数和X得分布函数一一对应
极限定理
马尔可夫不等式