0 术语
- 概率空间 : 简单理解为 符合概率三条公理、可以用概率公理体系为之建模。
- 随机变量: 依赖于随机试验结果的未知量
- 随机试验
1 重要定义
概率
概率 P 为定义在 F F 上的非负值函数,即对每一个事件 ,都可以定义一个实数 P(A),它们满足如下条件:
1 非负性
2 规范性 P(Ω)=1 P ( Ω ) = 1
3 可列可加性 (可列 和可数数列有点像)
则P(A)称为事件A 的概率,而试验的样本空间 Ω Ω 、事件体 F 及定义在 F 上的概率 P 构成了一个三元组, (Ω,F,P) ( Ω , F , P ) ,这一三元组称为概率空间。
概率密度函数 f(x)=P(x) f ( x ) = P ( x )
概率分布函数 F(x)=P(X≤x) F ( x ) = P ( X ≤ x )
期望(均值)
E(X)=Σxp(x) E ( X ) = Σ x p ( x )
方差,标准差
var(X)=E((X−EX)2)
v
a
r
(
X
)
=
E
(
(
X
−
E
X
)
2
)
方差是各个数据与平均数之差的平方的平均数
标准差 var(X)‾‾‾‾‾‾√ v a r ( X )
标准化随机变量
X∗=X−EXvar(X)√ X ∗ = X − E X v a r ( X )
标准化后的 X* 均值为0,方差为1
协方差,相关系数
cov(X,Y)=E[(X−EX)(Y−EY)] c o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ]
如果X 与Y 是统计独立的,那么二者之间的协方差就是0。
但是反过来并不成立,即如果X 与Y 的协方差为0,二者并不一定是统计独立的。
相关系数(标准化的协方差)
r=cov(X,Y)var(X)√var(Y)√
r
=
c
o
v
(
X
,
Y
)
v
a
r
(
X
)
v
a
r
(
Y
)
协方差矩阵
分位数,(分位点)
F−1(p≥a%)
F
−
1
(
p
≥
a
%
)
对应的 x 值
F(X) 为 概率分布函数
2 重要定理
Chebyshev 不等式
P(|X−EX|≥c)≤var(X)c2 P ( | X − E X | ≥ c ) ≤ v a r ( X ) c 2
大数定律
最开始的大数定律是“抛硬币的”版本。大数定律保证了:大量重复试验得到的频率会趋于我们所定义的概率。
(注意到我们定义概率时,只是将满足三条公理的P(A)定义为概率,并没有说明如何求这一数值,而我们的经验往往预设 频率会接近于概率,此处的大数定律更多的是 将这一公理体系完善化,得到的这一定律与现实经验观察符合,反过来在一定程度上说明这一公理系统的合理性。)
条件 : 独立同分布
中心极限定理
条件: 独立同分布
结论: 大量独立同分布的和的分布 趋于某一正态分布
进行过标准化转换的随机变量 会趋于 标准正态分布
N(0,1)
N
(
0
,
1
)
其他
X1+X2+X3....+Xn
X
1
+
X
2
+
X
3
.
.
.
.
+
X
n
近似
N(nμ,nσ2)
N
(
n
μ
,
n
σ
2
)
应用 —— (近似估计 …)
在实际问题中,一般只要
n≥30
n
≥
30
,用中心极限定理就可以得到很好的近似。在具体的情形,达到近似所要求的 n 还可能减少。
注意:离散型随机变量的连续修正(应用中心极限定理估计时做的修正)
对于取整数值的离散随机变量 X ,在用中心极限定理时,需要考虑用如下的连续修正
P(X=k)=P(k−0.5<X<k+0.5) P ( X = k ) = P ( k − 0.5 < X < k + 0.5 )
3 常用计算公式
E(x1+x2)=E(x1)+E(x2)
E
(
x
1
+
x
2
)
=
E
(
x
1
)
+
E
(
x
2
)
var(cX)=c2var(X)
v
a
r
(
c
X
)
=
c
2
v
a
r
(
X
)
对于独立的随机变量 var(ΣXi)=ΣvarXi v a r ( Σ X i ) = Σ v a r X i
计算方差的公式:
var(X)=E(x−EX)2=EX2−(EX)2
v
a
r
(
X
)
=
E
(
x
−
E
X
)
2
=
E
X
2
−
(
E
X
)
2
var(X)=E(x−EX)2=Σ(x−EX)2f(x)=Σ(x2f(x)−(EX)2)
v
a
r
(
X
)
=
E
(
x
−
E
X
)
2
=
Σ
(
x
−
E
X
)
2
f
(
x
)
=
Σ
(
x
2
f
(
x
)
−
(
E
X
)
2
)
var(X+Y)=var(X)+var(Y)+2E[(X−EX)(Y−EY)]=var(X)+var(Y)+2cov(X,Y) v a r ( X + Y ) = v a r ( X ) + v a r ( Y ) + 2 E [ ( X − E X ) ( Y − E Y ) ] = v a r ( X ) + v a r ( Y ) + 2 c o v ( X , Y )
1
贝叶斯公式 (逆概率公式)
是从出现的结果估算其发生的原因的可能性的基本公式
2 证明方法
概率公理体系的构建过程中,定理的证明,多是从公理、定义出发的,用集合、微积分方面的定理来推导。
@acat 因为事件是集合,P(*) 取概率 是 一个集合函数,证明定理多是用 集合方面的定理,还有微积分方面的。
离散随机变量
1 二项分布 B~(n,p)
2 泊松分布 (p 很小时的,二项分布概率的近似计算)
连续型随机变量
正态分布
补充参考:
(待整合)
期望、方差、协方差及相关系数的基本运算