概率论知识总结

[编辑中，未完]

基本概念

随机试验

• 可以在相同条件下重复进行
• 每次实验的可能结果不止一个，并且能事先证明实验的所有可能
• 进行一次实验之前不能确定哪一个结果会出现

样本空间

将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的 样本空间，记为 $S$
样本空间中的元素，即 $E$ 的每个结果，称为 样本点

随机事件

称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的 随机事件，简称 事件
每次试验，iff 这一子集中的一个样本点出现时，称事件发生
有一个样本点组成的单点集，称基本事件
样本空间 $S$ 包含所有样本点，每次试验中总发生，称必然事件
空集 $\varnothing$ 不包含任何样本点，每次试验都不发生，称不可能事件

事件运算

若 $A\subset B$，称 事件B包含事件A，A发生必导致B发生
若 $A\subset B,B\subset A$，即$A=B$，称 相等
若 A ∪ B = { x ∣ x ∈ A   o r   x ∈ B } A\cup B=\{x|x\in A~or~x\in B\} A∪B={ x∣x∈A or x∈B},称 和事件
若 A ∩ B = { x ∣ x ∈ A   a n d   x ∈ B } A\cap B=\{x|x\in A~and~x\in B\} A∩B={ x∣x∈A and x∈B},称 积事件，也记 $AB$
若 A − B = { x ∣ x ∈ A   a n d   x ∉ B } A-B=\{x|x\in A~and~x\notin B\} A−B={ x∣x∈A and x∈/​B} 称为差事件，A发生B不发生
若 $A\cap B=\varnothing$，称 互斥 ，且$A\cup B=S$，AB互为 逆事件，又称 对立事件

• 满足定律
  交换律，结合律，分配率
  德摩根定律(De Morgan’s laws) : $\overline{A\cup B}=\overline{A}\cap \overline{B}$ ; $\overline{A\cap B}=\overline{A}\cup \overline{B}$

频率

n次实验中，事件发生次数 $n_A$，称 频数，$\frac{n_A}{n}$称 频率

概率

对 $E$ 的每一件事 $A$ 赋予一个实数，记为 $P(A)$，称为事件A的 概率
满足：非负性；规范性（必然事件 $S$,$P(S)=1$）；可列可加性（若 $A_i{A}_j=\varnothing$，有 $P(\bigcup A_i)=\sum P(A_i)$）

性质

1. $P(\varnothing )=0$
2. （有限可加性）可列可加性
3. $P(B-A)=P(B)-P(A);P(B)\ge P(A)$
4. $P(A)\le 1$
5. （逆事件）$P(\overline{A})=1-P(A)$
6. （加法公式）$P(A\cup B)=P(A)+P(B)-P(AB)$

等可能（古典）

$S$ 包含有限元素，每个事件可能性相同，称等可能概型（古典概型）(Equally Likely Outcomes Model)

条件概型

在事件 $A$ 发生的条件下事件 $B$ 发生 ，称 条件概率(Conditional Probability)，$P(B|A)=\frac{P(AB)}{P(A)}$ （A已发生，B多大可能发生）
可得 $P(AB)=P(B|A)P(A)$ （乘法公式）

全概率公式

$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$
$P(A)=\sum P(A|B_i)P(B_i)$（把每个在不同情况下目标事件发生的概率加起来就是目标事件总的发生概率）(Total Probability)

贝叶斯

$P(B|A)=\frac{P(AB)}{A}=\frac{P(A|B)P(B)}{P(A|B)P(B)+p(A|\overline{B})P(\overline{B})}$

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum P(B_j)P(A|B_j)}$ （已知结果，问导致这个结果的第 $i$ 原因的可能性是多少）(Bayes’ Theorem)
$P(B)$为以往数据已知的 先验概率，$P(B|A)$为根据修正后的 后验概率

独立

$P(AB)=P(A)P(B)$，称 相互独立(Independents)，相互独立 与 互不相容不能同时成立

1. $P(B|A)=P(B)$，AB相互独立
2. 若AB独立，则$A-\overline{B},\overline{A}-B,\overline{A}-\overline{B}$也相互独立
   一般的，任意 $n$ 个事件的积事件等于各事件概率之积，称相互独立

随机变量

• PDF (Probability Density Function) 概率密度函数 也称为连续概率分布 ，记作 $f(x)$ ，有 $\displaystyle f(x)\geq 0~&\int f(x)=1 $
• CDF (Cumulative Distribution Function) 累积分布函数: 记作$F_X(x)=P(X\le x)={\int }_{-\infty }^{+\infty }{f}_X(t)dt$
• PMF (Probability Mass Function) 概率质量函数 也称为离散概率分布
• PF (Probability Function) 分布律

离散型随机变量

可取值或可列无限多个，称 离散型随机变量(Discrete Random Variable)

(0-1)分布

随机变量 $X$ 只取0或1 , 分布律为 P { X = k } = p k ( 1 − p ) ( 1 − k ) P\{X=k\}=p^k(1-p)^{(1-k)} P{ X=k}=pk(1−p)(1−k)

伯努利分布

$E$ 只有两种结果：$A,\overline{A}$，称 $E$ 为 伯努利试验(Bernoulli)，将 $E$ 独立重复进行 $n$ 次，称 重伯努利试验

二项分布

若 $E$ 为 $n$ 重伯努利试验，每次成功概率为 $p$ ， $X$ 代表成功次数，则 $X$ 的PF称 二项分布(Binomal Distribution)，记 $X\backsim B(n,p)$
pmf为：$P(X=k)=C_n^k{p}^k(1-p{)}^{(n-k)}$
伯努利分布是二项分布在 $n=1$ 时的特例

泊松分布

P { X = k } = λ k e − λ k ! , λ > 0 \displaystyle P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},\lambda > 0 P{ X=k}=k!λke−λ​,λ>0 称 泊松分布(Poisson Distribution)，记作 $X\sim P(x)$，$\lambda$ 是单位时间内随机事件的平均发生次数
泊松分布适合于描述单位时间内随机事件发生的次数
泊松分布的 期望 和 方差 均为 $\lambda$

超几何分布

从有限 $N$ 个物件（其中包含 $M$ 个指定种类的物件）中抽出 $n$ 个物件，成功抽出该指定种类的物件的次数（不放回），称 超几何分布(Hypergeometic Distribution)，记 $X\sim H(N,M,n)$
随机抽取 $n$ 件产品抽查，发现 $k$ 件中不合格的概率为 $P(X=k)=\frac{C_M^k{C}_{N-M}^{m-k}}{C_N^m}$
数学期望为 $EX=\frac{nM}{N}$

连续随机变量

对于 $X$ 的分布函数 $F(x)$，存在非负可积函数 $f(x)$ ，则称 $X$ 为 连续随机变量(Continuous Random Variable)

均匀分布

Uniform Distribution PDF:
$$f(x)=\{\begin{array}{llc}& \frac{1}{b-a}& a<x<b\\ & 0& otherwise\end{array}$$
记作$X\sim U(a,b)$
THe CDF is
$$F(x)={\int }_{-\infty }^{x}f(t)dt=\{\begin{array}{ll}0& x<a\\ \frac{x-a}{b-a}& a\le x\le b\\ 1& x>b\end{array}$$

指数分布

Exponential distribution PDF:
$$f(x)=$$