概率论极简速查笔记

0 术语

• 概率空间 : 简单理解为 符合概率三条公理、可以用概率公理体系为之建模。
• 随机变量： 依赖于随机试验结果的未知量
• 随机试验

1 重要定义

概率

概率 P 为定义在 $F$ 上的非负值函数，即对每一个事件 $A \in F$，都可以定义一个实数 P(A)，它们满足如下条件：
1 非负性
2 规范性 $P(\Omega) = 1$
3 可列可加性 （可列 和可数数列有点像）
则P(A)称为事件A 的概率，而试验的样本空间 $\Omega$、事件体 F 及定义在 F 上的概率 P 构成了一个三元组，$(\Omega,F,P)$，这一三元组称为概率空间。

概率密度函数 $f(x) = P(x)$

概率分布函数 $F(x) = P(X\leq x)$

期望（均值）

$E(X) = \Sigma xp(x)$

方差，标准差
$var(X) = E((X-EX)^2 )$
方差是各个数据与平均数之差的平方的平均数

标准差 $\sqrt{var(X)}$

标准化随机变量

$X^* = \frac{X-EX}{\sqrt{var(X)}}$
标准化后的 X* 均值为0，方差为1

协方差，相关系数

$cov(X,Y) = E[(X-EX)(Y-EY)]$

如果X 与Y 是统计独立的，那么二者之间的协方差就是0。
但是反过来并不成立，即如果X 与Y 的协方差为0，二者并不一定是统计独立的。

相关系数（标准化的协方差）
$r = \frac{cov(X,Y)}{\sqrt{var(X)}\sqrt{var(Y)}}$

协方差矩阵

分位数，（分位点） $F^{-1}(p\geq a\%)$ 对应的 x 值
F(X) 为 概率分布函数

2 重要定理

Chebyshev 不等式

$P(|X-EX| \geq c )\leq \frac{var(X)}{c^2}$

大数定律

最开始的大数定律是“抛硬币的”版本。大数定律保证了：大量重复试验得到的频率会趋于我们所定义的概率。
（注意到我们定义概率时，只是将满足三条公理的P(A)定义为概率，并没有说明如何求这一数值，而我们的经验往往预设 频率会接近于概率，此处的大数定律更多的是 将这一公理体系完善化，得到的这一定律与现实经验观察符合，反过来在一定程度上说明这一公理系统的合理性。）

条件 ： 独立同分布

中心极限定理

条件： 独立同分布
结论： 大量独立同分布的和的分布 趋于某一正态分布
进行过标准化转换的随机变量 会趋于 标准正态分布 $N(0,1)$
其他 $X_1+X_2+X_3....+X_n$ 近似 $N(n\mu,n\sigma^2)$

应用 —— （近似估计 …)
在实际问题中，一般只要 $n\geq 30$，用中心极限定理就可以得到很好的近似。在具体的情形，达到近似所要求的 n 还可能减少。

注意：离散型随机变量的连续修正（应用中心极限定理估计时做的修正）

对于取整数值的离散随机变量 X ，在用中心极限定理时，需要考虑用如下的连续修正
$P(X=k) = P( k-0.5< X < k+0.5)$

3 常用计算公式

$E(x_1+x_2) = E(x_1) + E(x_2)$
$var(cX) = c^2var(X)$

对于独立的随机变量 $var(\Sigma X_i) = \Sigma varX_i$

计算方差的公式：
$var(X) = E(x-EX)^2 = EX^2 - (EX)^2$
$var(X) = E(x-EX)^2 = \Sigma (x-EX)^2f(x) = \Sigma( x^2 f(x) - (EX)^2 )$

$var(X+Y) = var(X)+var(Y) +2 E[(X-EX)(Y-EY)] = var(X)+var(Y) + 2cov(X,Y)$

1
贝叶斯公式 （逆概率公式）

是从出现的结果估算其发生的原因的可能性的基本公式

2 证明方法
概率公理体系的构建过程中，定理的证明，多是从公理、定义出发的，用集合、微积分方面的定理来推导。
@acat 因为事件是集合，P(*) 取概率 是 一个集合函数，证明定理多是用 集合方面的定理，还有微积分方面的。

离散随机变量

1 二项分布 B~(n,p)

2 泊松分布 （p 很小时的，二项分布概率的近似计算）

连续型随机变量

正态分布

补充参考：

（待整合）
期望、方差、协方差及相关系数的基本运算