概率论笔记

概率论笔记

1. 概率论的基本概念

1.1 随机试验和随机事件

引言

确定性（必然）：一定发生（不发生）

随机（偶然）：可能发生，可能不发生

随机试验：

• 在相同条件下可以重复
• 结果不止一个
• 无法预测哪个结果会出现

随机事件： A、B、C

基本事件：不能再分（不必再分）——相对于实验目的

复合事件： 由基本事件复合

必然事件： 一定发生 $\Omega$

不可能事件 ： 一定不发生 $\varphi$

样本空间： 所有基本事件的集合 $\Omega$

样本点 ： 样本空间的元素 $\omega$

运算律：

1）交换律  $A\cup B=B\cup AA\cap B=B\cap A$

2）结合律 $(A\cup B)\cup C=A\cup (B\cup C)$ $(A\cap B)\cap C=A\cap (B\cap C)$

3）分配律  $(A\cup B)\cap C=(A\cap C)\cup (B\cap C)$ $(A\cap B)\cup C=(A\cup C)\cap (B\cup C)$

4）对偶 $\overline{A\cup B}=\bar{A}\cap \bar{B}$ $\overline{A\cap B}=\bar{A}\cup \bar{B}$

1.2 古典概率模型

条件：

1）有限个样本点
2）等可能性

$$P(A)=\frac{A的有利样本点}{\Omega 中样本点总数}=\frac{A中包含的基本事件}{基本事件总数}$$

1）不重复排列

$$p_n^m=n(n-1)(n-2)\cdots (n-m+1)=\frac{n!}{(n-m)!}$$

2）全排列

$$p_n^n=n(n-1)\times 3\times 3\times 1=n!$$

3）组合

$$C_n^m=\frac{P_n^m}{m!}=\frac{n(n-1)\cdots (n-m+1)}{m(m-1)\times 2\times 1}=\frac{n!}{m!(n-m)!}$$

公理化

性质一：

$$P(\varphi )=0$$

性质二：
$$P(A_1+A_2+\dots \dots A_n)=P(A_1)+P(A_2)+\dots \dots P(A_n)$$

性质三：

$$P(\bar{A})=1-P(A)P(A)+P(\overline{A})=1$$

性质四：

$$P(A-B)=P(A)-P(AB)$$
$$A\supset B.P(A-B)=P(A)-P(B)\cdot 且P(A)⩾P(B)$$

性质五：
$$P(A+B)=P(A)+P(B)-P(AB)$$

$$P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$$

1.3 条件概率

条件概率

定义：$\Omega$ 样本空间 $A.B$ 两个事件

$P(B)>0$ 在 $B$ 已经发生的条件下 $A$ 发生的概率 $P(A|B)$

$$\text{ (1) }P(A\mid B)=\frac{n_{AB}}{n_B}$$$$\text{ (2) }P(A\mid B)=\frac{n_{AB}/n}{n_B/n}=\frac{P(AB)}{P(B)}$$

乘法公式

$P(A)>0P(B)>0$

$$P(A\mid B)=\frac{P(AB)}{P(B)}\text{ (1) }P(AB)=P(B)P(A\mid B)$$$$P(B\mid A)=\frac{P(AB)}{P(A)}\text{ (2) }P(AB)=P(A)P(B\mid A)$$

$$P\left(A_1{A}_2\cdots A_n\right)=P\left(A_1\right)P\left(A_2\mid A_1\right)P\left(A_3|A_1{A}_2\right)\cdots P\left(A_n\mid A_1\cdots A_{n-1}\right)$$
$$P(ABC)=P(A)P(B\mid A)P(C\mid AB)$$

全概率事件

$A_1{A}_2\dots \dots A_n$是 $E$ 的完备事件

$$P\left(A_i\right)>0P(B)=\sum _{i=1}^{n}P\left(A_i\right)P\left(B\mid A_i\right)$$

贝叶斯公式

$$P\left(A_k\mid B\right)=\frac{P\left(A_k\right)P\left(B\mid A_k\right)}{{\sum }_{i=1}^{n}P\left(A_i\right)P\left(B\mid A_i\right)}=\frac{P\left(A_{k}B\right)}{P(B)}$$

1.4 事件的独立性

定义： A的概率不受B发生与否影响

$$P\left(A\mid B\right)=P\left(A\right)$$

定理： $P(A)>0P(B)>0$

A、B 独立 <=> $P(AB)=P(A)P(B)$

• $\Phi \Omega$ 与任意事件A独立

• A、B互不相容，$P(AB)=0$ $P(A+B)=P(A)+P(B)-P(AB)=P(A)+P(B)$

• A、B独立，$P(A+B)=P(A)+P(B)-P(AB)=P(A)+P(B)-P(A)P(B)$

伯努利模型

$$p_n(k)=C_n^k{p}^k(1-p{)}^{n-k}=C_n^k{p}^k{q}^{n-k}q=1-p$$

2. 随机变量及其分布

离散型： 有限个、无限个可列

非离散型： 连续型

$$\text{ (1) }{p}_k⩾0(2)\sum p_k=1$$

2.1 概率密度函数

定义： 非负可积 $f(x).f(x)>=0a<=b{\int }_{-\infty }^{+\infty }f(x)=1$
P { a < x ⩽ b } = ∫ a b f ( x ) d x P\{a<x \leqslant b\}=\int_{a}^{b} f(x) d x P{a<x⩽b}=∫ab​f(x)dx

连续变量取个别值的概率是0

$x$: 连续， $f(x)$：概率密度分布函数

lim ⁡ Δ x → 0 p { x < x < x + Δ x } Δ x = l i m Δ x → 0 ∫ x x + Δ x f ( x ) d x Δ x = f ( x ) \lim _{\Delta x \rightarrow 0} \frac{p\{x<x<x+\Delta x\}}{\Delta x}=lim_{\Delta x \rightarrow 0} \frac{\int_{x}^{x+\Delta x} f(x) d x}{\Delta x}=f(x) Δx→0lim​Δxp{x<x<x+Δx}​=limΔx→0​Δx∫xx+Δx​f(x)dx​=f(x)

2.2 分布函数

$$F(x)=P(X\le x)$$
$x\in (-\infty ,+\infty )F(x)\in [0,1]$

• $0⩽F(x)\le 1.x\in (-\infty ,+\infty )$
• $F(x)不减x_1<x_2.F\left(x_1\right)⩽F\left(x_2\right)$
• ${\lim }_{x\to +\infty }F(x)=F(+\infty )=1$
• ${\lim }_{x\to -\infty }F(x)=F(-\infty )=0$

$F(X)$右连续

• 离散型——右连续
• 连续型——连续

公式：

• P { x ⩽ a } = F ( a ) P\{x \leqslant a\}=F(a) P{x⩽a}=F(a)
• P { x > a } = 1 − P { x ⩽ a } = 1 − F ( a ) P\{x>a\}=1-P\{x \leqslant a\}=1-F(a) P{x>a}=1−P{x⩽a}=1−F(a)
• P { a < x ⩽ b } = P { x ⩽ b } − P { x ⩽ a } P\{a<x \leqslant b\}=P\{x \leqslant b\}-P\{x \leqslant a\} P{a<x⩽b}=P{x⩽b}−P{x⩽a}

右连续： ${\lim }_{x\to a^{+}}F(x)=F(a)$

左连续：${\lim }_{x\to a^{-}}F(x)=F(a)$

连续：${\lim }_{x\to a}F(x)=F(a)$

连续型的分布函数：

F ( x ) = P { X ⩽ x } = ∫ − ∞ x f ( t ) d t F(x)=P\{X \leqslant x\}=\int_{-\infty}^{x} f(t) d t F(x)=P{X⩽x}=∫−∞x​f(t)dt

连续： $F^{\prime }(x)=f(x)$

2.3 常见随机变量的分布

2.3.1 离散型分布

0-1分布

p { x = k } = p k ( 1 − p ) 1 − k k = 0 , p\{x=k\}=p^{k}(1-p)^{1-k} \quad k=0, p{x=k}=pk(1−p)1−kk=0,

有两种结果，试验只做一次

几何分布

$P(A)=p$

第 $k$ 次首次发生，前$k-1$次未发生

p { x = k } = ( 1 − p ) k − 1 p p\{x=k\}=(1-p)^{k-1} p p{x=k}=(1−p)k−1p

二项分布

$P(A)=p$

$n$次实验，发生了$k$次

P { x = k } = C n k p k ( 1 − p ) n − k k = 0 , 1 , 2 , ⋯   , n P\{x=k\}=C_{n}^{k} p^{k}(1-p)^{n-k} \quad k=0,1,2, \cdots, n P{x=k}=Cnk​pk(1−p)n−kk=0,1,2,⋯,n$$X\sim B(n,p)$$

最可能值：

• $(n+1)p$不为整数   $(n+1)p$ 达到最大值
• $(n+1)p$为整数   $(n+1)p$ 和 $(n+1)p-1$ 达到最大值

泊松分布

P { x = k } = λ k k ! e − λ k = 0 , 1 , 2 , 3 , . P\{x=k\}=\frac{\lambda^{k}}{k !} e^{-\lambda} \quad k=0,1,2 , 3, . P{x=k}=k!λk​e−λk=0,1,2,3,.$$\lambda >0.x\sim p(\lambda )$$

$\lambda 背上背了一个k,\lambda 摔了一跤，e了一声，变成了-\lambda ，k表示很震惊$

什么时候适合用泊松分布？？(用泊松分布近似计算二项分布）

• $n$ 比较大，$p$ 比较小，$np$ 适中

• $n>=100$   $np<=10$

• 此时将 $np$ 看作为 $\lambda$

超几何分布

$N$个元素，$N_1$属于第一类，$N_2$属于第二类

取$n$个，$x$: $n$个中属于第一类的个数

P { x = k } = C N 1 k C N 2 n − k C N n P\{x=k\}=\frac{C_{N_{1}}^{k} C_{N_{2}}^{n-k}}{C_{N}^{n}} P{x=k}=CNn​CN1​k​CN2​n−k​​ k = 0 , 1 , 2 , ⋯   , m i n { n , N 1 } k=0,1,2, \cdots, min\left\{n, N_{1}\right\} k=0,1,2,⋯,min{n,N1​}

• 超几何分布可以表示不放回抽样试验
• 当$N$很大，$n$很小时，不放回抽样可以近似看作放回抽样，用二项分布计算超几何分布，再用泊松分布近似超几何分布。 p { x = k } = C M k C N − M n − k C N n ≈ C n k p k ( 1 − p ) n − k p\{x=k\}=\frac{C_{M}^{k} C_{N-M}^{n-k}}{C_{N}^{n}} \approx C_{n}^{k} p^{k}(1-p)^{n-k} p{x=k}=CNn​CMk​CN−Mn−k​​≈Cnk​pk(1−p)n−k

2.3.2 连续型分布

均匀分布

$$f(x)=\{\begin{array}{cl}\frac{1}{b-a}& a\le x\le b\\ 0& \text{ else }\end{array}$$$$X\sim \cup [a,b]$$

• 分布函数

$$F(x)=\{\begin{array}{cc}0& x<a.\\ \frac{x-a}{b-a}& a⩽x<b\end{array}$$

指数分布

$$f(x)=\{\begin{array}{cc}\lambda e^{-\lambda x}& x>0\\ 0& x⩽0\end{array}$$$$\lambda >0.x\sim \mathrm{Exp}(\lambda )$$

• 分布函数

$$F(x)=\{\begin{array}{cc}1-e^{-\lambda x}& x>0\\ 0& x\le 0\end{array}$$

• 无记忆性

$$s>0t>0$$ p { x > s + t ∣ x > s } = p { x > t } p\{x>s+t \mid x>s\}=p\{x>t\} p{x>s+t∣x>s}=p{x>t}

正态分布

$$\varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}-\infty <x<+\infty$$$$X\sim N\left(\mu ,{\sigma }^2\right)$$

• 分布函数

$$\Phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$$

• ${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$

• 性质一: $y=\phi (x)$ 以 $x=\mu$ 为对称轴，此时有最大值

• 性质二：$y=\phi (x)$ 以 $x$ 轴为渐近线，$x=u\pm \sigma$ 为拐点

• 性质三： $\sigma$固定，$\mu$变化，左右移动； $\mu$固定，$\sigma$变小，最高点上移, $\sigma$变大，$\sigma$ 下移

标准正态分布：

$\mu =0$, $\sigma =1$

$${\varphi }_0(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}-\infty <x<+\infty$$

$${\Phi }_0(x)={\Phi }_0(-x){\Phi }_0(-x)=1-{\Phi }_0(x)$$

• 一般正态分布化为标准正态分布

$$\varphi (x)=\frac{1}{\sigma }{\varphi }_0\left(\frac{x-\mu }{\sigma }\right)$$$$\Phi (x)={\Phi }_0\left(\frac{x-\mu }{\sigma }\right)$$

• 上分位点

$X\sim N\left(0,1\right)$, 给定$\alpha (0<\alpha <1)$，找出 ${\mu }_{\alpha }$， 使 P { x > μ α } = α P\{x>\mu_{\alpha}\}=\alpha P{x>μα​}=α

2.4 随机变量函数的分布

1）$X$的密度函数$f_X(x)$，$Y=kx+b(k\ne 0)$

$k>0$ 时：
F Y ( x ) = P { Y ⩽ x } = P { k X + b ≤ x } = P { X ⩽ x − b k } . F_{Y}(x)=P\{Y \leqslant x\}=P\{k X+b \leq x\}=P\left\{X \leqslant \frac{x-b}{k}\right\} . FY​(x)=P{Y⩽x}=P{kX+b≤x}=P{X⩽kx−b​}.

$k<0$ 时：
F Y ( x ) = P { Y ⩽ x } = P { k X + b ≤ x } = P { X ⩾ x − b k } = 1 − P { X ⩽ x − b k } . F_{Y}(x)=P\{Y \leqslant x\}=P\{k X+b \leq x\}=P\left\{X \geqslant \frac{x-b}{k}\right\}=1-P\left\{X \leqslant \frac{x-b}{k}\right\} . FY​(x)=P{Y⩽x}=P{kX+b≤x}=P{X⩾kx−b​}=1−P{X⩽kx−b​}.

两边求导得：

$$f_Y(x)=\frac{1}{|k|}{f}_X\left(\frac{x-b}{k}\right)$$

2）$X\sim N\left(u,{\sigma }^2\right)Y=aX+bY\sim N\left(au+b,a^2{\sigma }^2\right)$

3. 二维随机变量

3.1 二维随机变量及其分布函数

分布函数： F ( x , y ) = P { X ⩽ x , Y ⩽ y } F(x , y)=P\{X \leqslant x , Y \leqslant y\} F(x,y)=P{X⩽x,Y⩽y} 联合分布

• $x_1<x_2{y}_1<y_2$时：
  P { x 1 < x ⩽ x 2 . y 1 < Y ⩽ y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) \begin{array}{l} \\ P\left\{x_{1}<x \leqslant x_{2} . y_{1}<Y \leqslant y_{2}\right\} \\\\ =F\left(x_{2}, y_{2}\right)-F\left(x_{2}, y_{1}\right)-F\left(x_{1}, y_{2}\right)+F\left(x_{1}, y_{1}\right) \end{array} P{x1​<x⩽x2​.y1​<Y⩽y2​}=F(x2​,y2​)−F(x2​,y1​)−F(x1​,y2​)+F(x1​,y1​)​
• 边缘分布

F X ( x ) = P { X ≤ x } = F ( x , + ∞ ) = P { X ≤ x . Y < + ∞ } F Y ( y ) = P { Y ≤ y } = F ( + ∞ , y ) = P { X < + ∞ , Y ≤ y } \begin{array}{l} F_{X}(x)=P\{X \leq x\}=F(x,+\infty)=P\{X \leq x . Y<+\infty\} \\ \\F_{Y}(y)=P\{Y \leq y\}=F(+\infty, y)=P\{X<+\infty, Y \leq y\} \end{array} FX​(x)=P{X≤x}=F(x,+∞)=P{X≤x.Y<+∞}FY​(y)=P{Y≤y}=F(+∞,y)=P{X<+∞,Y≤y}​

3.1 二维离散型的联合分布及其边缘分布

X、Y 取离散值

F ( x , y ) = P { X ≤ x , Y ≤ y } = ∑ ∑ x i ≤ x y i ≤ y P i j F ( − 1 , − 2 ) = { { X ≤ − 1 , Y ≤ − 2 } = 0 F ( 1 , 2 ) = P { X ≤ 1 , Y ≤ 2 } = 1 2 F ( 4 , 5 ) = P { X ≤ 4 , Y ≤ 5 } = 1 \begin{array}{l} F(x, y)=P\{X \leq x, Y \leq y\}=\sum \sum_{x_{i} \leq x \quad y_i \leq y} P_{i j} \\\\ F(-1,-2)=\{\{X \leq-1, Y \leq-2\}=0 \\\\ F(1,2)=P\{X \leq 1, Y \leq 2\}=\frac{1}{2} \\\\ F(4,5)=P\{X \leq 4, Y \leq 5\}=1 \end{array} F(x,y)=P{X≤x,Y≤y}=∑∑xi​≤xyi​≤y​Pij​F(−1,−2)={{X≤−1,Y≤−2}=0F(1,2)=P{X≤1,Y≤2}=21​F(4,5)=P{X≤4,Y≤5}=1​