概率论与数理统计

排列组合

加法原理: 几种方案
乘法原理: 分几步

不重复排列

$P_n^m=n(n-1)...(n-m)=\frac{n!}{(n-m)!}$

全排列
$P_n^n=n(n-1)...1=n!$

重复排列
$n^m$

组合:从n个不同元素中取出m个不同元素.
$C_n^m=\frac{P_n^m}{m!}=\frac{n!}{m!(n-m)!}$

$C_n^m=C_n^{n-m}$

$C_n^0=C_n^n=1$

随机事件

试验:对客观事物 观察 测量.

随机试验:
1.在相同条件下可以重复.
2.结果不止一个.
3.无法预测结果.

事件:每种结果.

基本事件
相对于试验目的来说，不能再分.

复合事件
由基本事件复合

必然事件: $\Omega$
不可能事件:$\varphi$

样本空间:所有基本事件的集合.
样本点:样本空间的元素. $\omega$

事件间的关系
1.包含. A发生导致B发生
$A\subset B$ A 包含于B
$B\supset A$ B 包含 A

相等: $A\subset B,B\supset A.A=B$

2.并(和)(A B 至少一个发生)
$A\bigcup B(A+B)$

3.交(积)(A B同时发生)
$A\bigcap B(AB)$

无限可列个: 按某种规律排成一个序列.
1.自然数 0,1,2,3,…
2.整数 0,1,-1,2,-2
3.有理数 $\frac{p}{q}$
$0.\dot{5}\dot{6}=x$
$56.\dot{5}\dot{6}=100x$
$56=99x$
$x=\frac{56}{99}$

4.差(A 发生 B 不发生)
$A-B$

5.互不相容事件
A B 不同时发生
AB = $\varphi$

6.对立事件
A,B互不相容，且$A\bigcup B=\omega$
$AB=\varphi ,且A+B=\omega$

1.$\overline{A}是的逆$
$\overline{\overline{A}}=A$
2.$A-B=A-AB=A\overline{B}$

互不相容 与 对立的联系和区别

1.两事件对立,则一定互不相容
2.互不相容适用于多个事件，对应适用于两个事件
3.互不相容.不能同时发生，可以都不发生
对立，有且只有一个发生

7.完备事件组
$A_1,A_2,...,A_n两两互不相容,且\bigcup _{i=1}^n{A}_i=\Omega$

运算

1.交换.
$A\bigcup B=B\bigcup A.$
$A\bigcap B=B\bigcap A.$
A + B = B + A
AB = BA
2.结合
$(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$
$(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$
(A + B) + C=A + (B + C)
(AB)C = A(BC)
3.分配
$(A\bigcup B)\bigcap C=(A\bigcap C)\bigcup (B\bigcap C)$
$(A\bigcap B)\bigcup C=(A\bigcup C)\bigcap (B\bigcup C)$
(A + B)C = AC + BC
(AB) + C= (A+C) (B+C)

4.对偶
$\overline{A\bigcup B}=\overline{A}\bigcap \overline{B}$

$\overline{A\bigcap B}=\overline{A}\bigcup \overline{B}$

长短换，符号变

$\overline{A_1\bigcup A_2\bigcup ...\bigcup A_n}={\overline{A}}_1\bigcap {\overline{A}}_2...\bigcap {\overline{A}}_n$

$\overline{A_1\bigcap A_2\bigcap ...\bigcap A_n}={\overline{A}}_1\bigcup {\overline{A}}_2...\bigcup {\overline{A}}_n$

事件的概率
概率的初等描述
概率:发生的可能性大小 P(A).
性质
1.$P(\Omega )=1.P(\varphi )=0$
2.$0\le P(A)\le 1$

古典概率模型
条件:
1.有限个样本点
2.等可能性

性质:
1.非负性 $0\le P(A)\le 1$
2.规范性 $P(\Omega )=1.P(\varphi )=0$
3.有限可加: $A_1...A_n$互不相容
$P(A_1+A_2+...+A_n)=P(A_1)+P(A_2)+...+P(A_n)$

$P(A)=\frac{A的有利样本点}{\Omega 中样本点总数}$

几何概型
线段、平面、立体

$P(A)=几何度量$

频率与概率
n次试验,A发生了m, $\frac{m}{n}$就叫频率
${\omega }_n(A)$
性质:1.非负.$0\le {\omega }_n(A)\le 0$
2.规范. ${\omega }_n(\Omega )=1,{\omega }_n(\varphi )=0$
3.可加形.$A_1,A_2,\dots ,A_m$互不相容
${\omega }_n(A_1+\cdots +A_m)={\omega }_n(A_1)+\cdots +{\omega }_n(A_m)$

频率的稳定值叫概率(内在属性,先于频率客观存在的)

公理化
描述、古典、几何、统计

公理1:
1.非负.$0\le P(A)\le 0$
2.规范. $P(\Omega )=1$
3.完全可加.$A_1,A_2,\dots ,A_m$互不相容
$P(A_1+A_2+\cdots +A_m)=P(A_1)+P(A_2)+\cdots +P(A_m)$

性质1:$P(\varphi )=1$
$\Omega =\Omega +\varphi +\varphi +\dots$
$P(\Omega )=P(\Omega +\varphi +\dots )=P(\Omega )+P(\varphi )+\dots$
$P(\varphi )+\cdots =0,P(\varphi )\ge 0$
$P(\varphi )=0$

性质2:有限可加,$A_1,A_2,A_3,\dots ,A_n$互不相容
$P(A_1+\cdots +A_n)=P(A_1)+\cdots +P(A_n)$

性质3:$P(\overline{A})=1-P(A)$

推论$A_1,\dots ,A_n$是$完备事件组\{\begin{array}{l}1.两两互不相容\\ 2.并是\Omega \end{array}$
$P(A_1)+P(A_2)+\cdots +P(A_n)=1$

性质4:$\{\begin{array}{l}1.P(A-B)=P(A)-P(AB)\\ 2.A\supset B.P(A-B)=P(A)-P(B).且P(A)\ge P(B)\end{array}$

性质5(加法):$P(A+B)=P(A)+P(B)-P(AB)$
$P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

条件概率
$\Omega 样本空间,A、B两个事件$
$P(B)>0,在B已经发生的条件下A发生的概率$
A对B的条件概率 .P(A|B)

$1.P(A|B)=\frac{n_{AB}}{n_B}$

$2.P(A|B)=\frac{\frac{n_{AB}}{n}}{\frac{n_B}{n}}=\frac{P(AB)}{P(B)}$

$\{\begin{array}{l}1.P(A|B)\ge 0\\ 2.P(\Omega |B)=1\\ 3.A_1,\dots ,A_n互不相容.P(\sum _{i=1}^{\infty }{A}_i|B)=\sum _{i=1}^{\infty }P(A_i|B)\end{array}$

乘法公式
$P(A)>0,P(B)>0$
$\{\begin{array}{l}1,P(AB)=P(B)P(A|B)\\ 2.P(AB)=P(A)P(B|A)\end{array}$

分步走
$P(A_1{A}_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\dots P(A_n|A_1\dots A_n)$

$P(A_1{A}_2{A}_3)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)$

全概率公式
定理1.2 $A_1,A_2,\dots ,A_n$是的完备事件组

$P(B)=\sum _{i=1}^{n}P(B|A_i)$

贝叶斯公式
知道结果 推导 原因

$P(A_k|B)=\frac{P(A_k)P(B|A_k)}{\sum _{i=1}^{n}P(A_i)P(B|A_i)}=\frac{P(A_{k}B)}{P(B)}$

事件的独立性
定义: A发生的概率不受B发生的是否的影响
$P(A|B)=P(A)$

定理 P(A) > 0 , P(B) > 0
A,B独立 $⟺$ P(AB) = P(A) P(B)

定义1.6: P(AB)=P(A)P(B) , A,B独立

定理1.5:
1.A,B独立. $A与\overline{B},\overline{A}与B,\overline{A}与\overline{B}$独立

2.P(A) = 0 或 P(A) = 1, A 与 任何事件都独立
P(A) = 0 与 $\varphi$不一样
P(A) = 1 与 $\Omega$ 不一样

独立： 可能性
互不相容: AB = $\varphi$

伯努利模型
独立实验序列:$E_1,E_2,\dots ,E_n$
n重独立实验:$E,E,E,\dots ,E$ $E^n$

伯努利实验:结果只有两种
n重伯努利实验: n次 独立 结果只有两种

定理:如果A的概率P(0<P<1),$\overline{A}$:1-P,
n重伯努利实验中A发生K次

$P_n(k)=C_n^k{P}^k(1-P{)}^{n-k}$：二项概率公式

随机变量
$\Omega X=X(\omega )实值函数$
X,Y,Z
事件  { ω ∣ X ( ω ) = a } = = { X = a } 事件 \space \{\omega|X(\omega)=a\} == \{X = a\} 事件 {ω∣X(ω)=a}=={X=a}
概率写法 P{X=a}

离散型:有限个 , 无限可列个
非离散型: 连续型(一个或多个区间)

离散型随机变量及其概率分布
X的所有取值 $x_k(k=1,2,...)可列个$
概率函数(概率分布): P { x = x k } = P k P\{x=x_k\}=P_k P{x=xk​}=Pk​

分布表
X   1   2   3   4  5  6
P  $\frac{1}{6}$  $\frac{1}{6}$  $\frac{1}{6}$  $\frac{1}{6}$  $\frac{1}{6}$  $\frac{1}{6}$

概率函数图

连续型随机变量及其概率密度函数
频数(个数)
频率
组距

频数直方图

频率密度直方图
$\frac{频率}{组距}$
1.面积 = 该组频率
2.所有面积之和 = 1
3.介于 x=a ，x=b之间的面积 近似 (a,b]的频率

若存在非负可积 f ( x ) . f ( x ) ≥ 0. a ≤ b . P { a < x ≤ b } = ∫ a b f ( x ) d x 若存在非负可积 f(x). f(x) \geq 0. a \leq b. P\{a < x \leq b \}= \int_a^b{f(x)dx} 若存在非负可积f(x).f(x)≥0.a≤b.P{a<x≤b}=∫ab​f(x)dx
f(x) :概率分布密度函数
$1.f(x)\ge 0$
$2.{\int }_{-\infty }^{+\infty }f(x)=1$
$3.连续变量取个别值概率为0$

连续型 端点可包含，可不包含

概率为0的事件未必不可能事件
概率为1的事件未必是必然事件

P { a ≤ x ≤ b } = ∫ a b f ( x ) d x P\{a \leq x \leq b\}=\int_a^b{f(x)dx} P{a≤x≤b}=∫ab​f(x)dx

这个点的值是 X 取x附近值的大小

lim ⁡ Δ x − > 0 P { x < X < x + Δ x } Δ x = f ( x ) \lim\limits_{\Delta x ->0} {\cfrac{P\{x < X < x + \Delta x\}}{\Delta x}}=f(x) Δx−>0lim​ΔxP{x<X<x+Δx}​=f(x)

概率为1
$(-\infty ,+\infty )内的密度$

分布函数
$F(x)=P(X\le x)$
X的取值不超过x的概率

性质
$1.0\le F(x)\le 1.x\in (-\infty ,+\infty )$
$2.F(x)不减.x_1<x_2.F(x_1)\le F(x_2)$

$\underset{x->+\infty }{\lim }F(x)=F(+\infty )=1$
$\underset{x->-\infty }{\lim }F(x)=F(-\infty )=0$
$3.F(x)右连续\{\begin{array}{l}1.离散，右连续\\ 2.连续，连续\end{array}$
至多可列个间断点

从右边逼近 x = f(x)
右连续：$\underset{x->a^{+}}{\lim }F(x)=F(a)$
左连续：$\underset{x->a^{-}}{\lim }F(x)=F(a)$
连续：$\underset{x->a}{\lim }F(x)=F(a)$

P { X ≤ a } = F ( a ) P\{X \leq a\} = F(a) P{X≤a}=F(a)
P { X > a } = 1 − F ( a ) P\{X > a\} = 1 - F(a) P{X>a}=1−F(a)
P { a < X ≤ b } = F ( b ) − F ( a ) P\{a < X \leq b\} = F(b) - F(a) P{a<X≤b}=F(b)−F(a)
P { X = a } = F ( a ) − F ( a − 0 ) P\{X=a\}=F(a) - F(a-0) P{X=a}=F(a)−F(a−0)
P { a ≤ X ≤ b } = F ( b ) − F ( a − 0 ) P\{a \leq X \leq b\} = F(b) - F(a-0) P{a≤X≤b}=F(b)−F(a−0)
P { X < a } = F ( a − 0 ) P\{X < a\} = F(a-0) P{X<a}=F(a−0)
P { X ≥ 0 } = 1 − F ( a − 0 ) P\{X \geq 0\}= 1 - F(a-0) P{X≥0}=1−F(a−0)

分布函数 到 概率函数
间断点是$x_k$是X的取值
P { X = x k } = F ( x k ) − F ( x k − 0 ) P\{X=x_k\}=F(x_k)-F(x_k-0) P{X=xk​}=F(xk​)−F(xk​−0)

连续型
F ( x ) = P { X ≤ x } = ∫ − ∞ x f ( t ) d t F(x) = P\{X \leq x\}=\int_{-\infty}^x {f(t)dt} F(x)=P{X≤x}=∫−∞x​f(t)dt

常见的分布

离散型分布
0-1分布
P { X = k } = P k ( 1 − P ) 1 − k P\{X = k\}=P^k(1-P)^{1-k} P{X=k}=Pk(1−P)1−k

有两种结果,只做一次试验

几何分布
P(A) = p,第K次首次发生,前k-1次未发生
P { X = k } = ( 1 − p ) k − 1 p P\{X=k\}=(1-p)^{k-1} p P{X=k}=(1−p)k−1p

二项分布
P(A) = p,n次试验,发生了k次
$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$

1.(n+1)p 不为整数, 取整最大值
2.是整数，(n+1)p (n+1)p-1是最值

泊松分布
P { X = k } = λ k k ! e − λ , k = 0 , 1 , 2 , 3 , . . . P\{X=k\}=\cfrac{\lambda^k}{k!}e^{-\lambda},k = 0,1,2,3,... P{X=k}=k!λk​e−λ,k=0,1,2,3,...
$\lambda >0$

二项分布
n比较大 p比较小(n>=100),np(<=10)，可以用泊松分布近似
$\lambda =np$

超几何分布
$N个元素：N_1个属于第一类，N_2个属于第二类，取n个。X:n个属于第一类的个数$
P { X = k } = C N 1 k C N 2 n − k C N n P\{X = k\}= \cfrac{C_{N_1}^k C_{N_2}^{n-k} }{C_N^n} P{X=k}=CNn​CN1​k​CN2​n−k​​

N很大，n相对于N很小
不放回抽样试验可以近似于二项分布

连续型分布

均匀分布

$X$ ~ $U[a,b]$

$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& (a\le x\le b)\\ 0& (else)\end{array}$
区间长度的倒数

分布函数
$F(x)=\{\begin{array}{ll}0& (x<a)\\ \frac{x-a}{b-a}& (a\le x<b)\\ 1& (b\le x)\end{array}$

指数分布
$F(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& (x>0)\\ 0& (0\le x)\end{array}$

分布函数
$F(x)=\{\begin{array}{ll}1-e^{-\lambda x}& (x>0)\\ 0& (x\le 0)\end{array}$

无记忆性

正态分布
$\varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$   $(-\infty <x<+\infty )$   $X$~$N(\mu ,{\sigma }^2)$

${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$

分布函数
$\Phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$

性质1:以x = $\mu$ 为对称轴. 钟型
x = $\mu$ 时 , 最大值 $\frac{1}{\sqrt{2\pi }\sigma }$

2.以x轴为渐近线
3.$\sigma$固定 $\mu$变化 左右移动
$\mu$固定 $\sigma$变化 $\sigma$变小 最高点上移
$\sigma$变大 最高点下移

标准正态分布
$\mu =0,\sigma =1$
${\varphi }_0(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$   $(-\infty <x<+\infty )$   $X$~$N(\mu ,{\sigma }^2)$

分布函数
$\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{(-\frac{t^2}{2})}dt$

性质:
y轴对称
${\varphi }_0(x)={\varphi }_0(-x)$
$\Phi (-x)=1-\Phi (x)$

转换标准型
$\varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

= $\frac{1}{\sigma }[\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(\frac{x-\mu }{\sigma }{)}^2}{2}}]$

= $\frac{1}{\sigma }{\varphi }_0(\frac{x-u}{\sigma })$

分布函数转换

$\Phi (x)={\Phi }_0(\frac{x-\mu }{\sigma })$

$3\sigma 准则$
$\mu -3\sigma$-$\mu +3\sigma$=0.99

给定$\alpha$ 找$u_{\alpha }$
P { x > u α } = α P\{x>u_\alpha\} = \alpha P{x>uα​}=α
$u_{\alpha }叫上\alpha 分位数$

随机变量函数的分布
离散型
已知X 是某分布 Y = 3X - 5 ，Y是什么分布?

连续型

$1.F_Y(x)\to F_X(x)$
$2.求导f_Y(x)\leftarrow f_X(x)$

二维随机变量

分布函数 :
F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y)=P\{X \leq x, Y \leq y \} F(x,y)=P{X≤x,Y≤y} 联合分布

密度函数:
$f(x,y)$

1. $0\le F(x,y)\le 1$

2. $F(x,y)不减，y固定，x_1<x_2,$ $F(x_1,y)\le F(x_2,y)$

3.$F(-\infty ,y)=0$
$F(x,-\infty )=0$
$F(-\infty ,-\infty )=0$
$F(+\infty ,+\infty )=1$

4.$F(x,y)$ 分别关于x和y的右连续

5.$x_1<x_2,y_1<y_2$
P { x 1 < x ≤ x 2 , y 1 < y ≤ y 2 } P\{x_1<x\leq x_2,y_1<y\leq y_2\} P{x1​<x≤x2​,y1​<y≤y2​}=
$=F(x_2,y_2)-F(x_2,y1)-F(x_1,y_2)+F(x_1,y_1)$

边缘分布
F X ( x ) = P { X ≤ x } = F ( x , + ∞ ) = P X ≤ x , Y < + ∞ F_X(x)=P\{X\leq x\}=F(x,+\infty)=P{X\leq x,Y<+\infty} FX​(x)=P{X≤x}=F(x,+∞)=PX≤x,Y<+∞

F Y ( y ) = P { Y ≤ y } = F ( + ∞ , y ) = P { X < + ∞ , Y ≤ y } F_Y(y)=P\{Y\leq y\}=F(+\infty,y)=P\{X<+\infty ,Y\leq y \} FY​(y)=P{Y≤y}=F(+∞,y)=P{X<+∞,Y≤y}

二维离散型的联合分布及边缘分布
分布表

二维连续的联合密度和边缘分布

二重积分忘了 以后补

数学期望(均值)
平均数
加权平均数

离散型的数学期望

$P(x=x_k)=P_k$
$若\sum _{k=1}^{\infty }{x}_k{p}_k绝对收敛$
$EX=\sum _{k=1}^{\infty }{x}_k{p}_k$

连续型的数学期望
${\int }_{-\infty }^{+\infty }xf(x)dx,绝对收敛$

数学期望的性质
1.常数的期望 = 常数
2.E(X+c) = EX + c
3.E(cX) = cEX
4.E(kX + b)=kEX + b
5.E(X + Y) = EX + EY

期望与方差总结

分布	定义	期望	方差
0-1	P { X = k } = p k ( 1 − p ) 1 − k . k = 0 , 1 P\{X=k\}= p^k(1-p)^{1-k}. k=0,1 P{X=k}=pk(1−p)1−k.k=0,1	p	pq(q = 1 - p)
二项	P { X = k } = C n k p k q n − k . k = 0 , 1 , . . . P\{X=k\} =C_n^kp^kq^{n - k}. k=0,1,... P{X=k}=Cnk​pkqn−k.k=0,1,...	np	npq
几何	P { X = k } = ( 1 − p ) k p . k = 1 , 2 , P\{X=k\} = (1-p)^kp.k=1,2, P{X=k}=(1−p)kp.k=1,2,…	$\frac{1}{p}$	$\frac{1-p}{p^2}$
泊松	P { X = k } = λ k k ! e − λ , k = 0 , 1 , 2 , 3 , . . . P\{X=k\}=\cfrac{\lambda^k}{k!}e^{-\lambda},k = 0,1,2,3,... P{X=k}=k!λk​e−λ,k=0,1,2,3,...	$\lambda$	$\lambda$
均匀	$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& (a\le x\le b)\\ 0& (else)\end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数	$F(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& (x>0)\\ 0& (0\le x)\end{array}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态	$\varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$   $(-\infty <x<+\infty )$   $X$~$N(\mu ,{\sigma }^2)$	$\mu$	${\sigma }^2$