概率论笔记(一)

概率论学习笔记(一)

只供本人复习使用

联合概率与边缘概率的关系

联合概率
$P(X=a,Y=b)$ = $P(X=a|Y=b)P(Y=b)=P(Y=b|X=a)P(X=a)$
边缘概率
$P(X=a)=\sum _{Y}P(X=a,Y=b)=\sum _{Y}P(X=a|Y=b)P(Y=b)=\sum _{Y}P(Y=b|X=a)P(X=a)$
$P(Y=b)=\sum _{X}P(X=a,Y=b)=\sum _{X}P(X=a|Y=b)P(Y=b)=\sum _{X}P(Y=b|X=a)P(X=a)$
条件概率有如下等式
$\sum _{X}P(X=a|Y=b)=1$
三个随机变量及以上的情况只需要把其中的两个或多个看成一个整体处理即可

贝叶斯公式

$P(X=a|Y=b)=\frac{P(Y=b|X=a)P(X=a)}{P(Y=b)}$

其中的$P(X=a)$为先验概率,$P(X=a|Y=b)$为后验概率

即 已知所有的$P(结果|原因)和P(结果)$

求$P(原因|结果)$

随机变量的独立性

随机变量的独立性有很多描述方式,这里只举出最常用的集中方式.
$1.$ 条件概率与条件无关
$P(X=a|Y=b)=P(X=a)$
$2.P(X=a,Y=b)=P(X=a)P(Y=b)$
并且$P(X=a,Y=b)=G(X)F(Y)$
可以分解为两个一元函数的乘积

联合概率的拆分

$P(X=a,Y=b,Z=c)=P(X=a|Y=b,Z=c)P(Y=b|Z=c)P(Z=c)$
当$X,Y,Z$相互独立时可以简化为$P(X=a)P(Y=b)P(Z=c)$

二项分布

$B(n,p)=P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$

以下是各种类型的二项分布

排列

$A_n^k=\frac{n!}{(n-k)!}$

组合

$C_n^k=\frac{n!}{k!(n-k)!}$

期望

$E[X]=\sum _{k}kP(X=k)$

$E[g(x)]=\sum _{k}g(k)P(X=k)$

1. 概率可以看做面积
2. 随机变量可以看做高度
3. 期望可以看做体积

期望有如下性质 :
1.

2. $E[X+Y]=E[X]+E[Y)$

无论$X和Y$是否是独立的

如果$X和Y$相互独立则 $E[XY]=E[X]E[Y]$

3. 二项分布的期望是 $E[X]=np$

方差

$E[X]=u$

$Var[X]=E[(X-u{)}^2]=\sum _k(X-u{)}^{2}P(X=k)$

方差与期望的关系

大数定理

独立同分布

满足以上两个条件的随机变量为独立同分布

平均值 $Z=\frac{X_1+X_2+...+X_n}{n}$

import random as rd
import matplotlib.pyplot as plt

N = 10000
X = []
aver = []
tmp = []
for i in range(1, N+1):
    X.append(i)
    tmp.append(rd.randint(1, 10))
    aver.append(sum(tmp)/i)
plt.plot(X, aver)
plt.show()