概率论与数理统计基础知识整理

最新推荐文章于 2025-01-04 18:47:35 发布

学习爱好者fz

最新推荐文章于 2025-01-04 18:47:35 发布

阅读量1.9k

点赞数 9

分类专栏：机器学习数学基础文章标签：概率论统计学机器学习

本文链接：https://blog.csdn.net/weixin_45031468/article/details/113519521

版权

概率论与数理统计基础知识整理

基本概率公式

补集公式
$P(\bar{A})=1-P(A)$
加法公式
$P (A + B) = P (A) + P (B) - P (A B)$
减法公式
$\bar{B})$
条件概率
$\mid A)=\frac{P(A B)}{P(A)}$
乘法公式
$\cdot P(B \mid A)$
$\cdot P(A \mid B)$
全概率公式
$P(B)=\sum_{i=1}^{n} P\left(A_{i}\right) \cdot P\left(B \mid A_{i}\right)$
贝叶斯公式
$P\left(A_{j} \mid B\right)=\frac{P\left(A_{j} B\right)}{P(B)}=\frac{P\left(A_{j}\right) P\left(B \mid A_{j}\right)}{\sum_{i=1}^{n} P\left(A_{i}\right) \cdot P\left(B \mid A_{i}\right)}$
相互独立
$\cdot P(B)$

如果随机变量 $X$ ， $Y$ 相互独立，那么 $g (X)$ ， $g (Y)$ 也相互独立

一维随机变量的分布

分布函数的应用

$F (a - 0)$ 是 $F (X)$ 在 $a$ 处的左极限。

$P\{X \leqslant a\}=F(a)$
$P\{X<a\}=F(a-0)$
$P\{X=a\}=F(a)-F(a-0)$
$F(x)=P\{X \leqslant x\}=\sum_{x_{i} \leqslant x} P\left\{X=x_{i}\right\}$
$F(x)=P\{X \leqslant x\}=\int_{-\infty}^{x} f(t) d t(x \in R)$
$P\{a<X<b\}=P\{a \leqslant X<b\}=P\{a<X \leqslant b\}=P\{a \leqslant X \leqslant b\}=\int_{a}^{b} f(t) d t=F(b)-F(a)$

离散型分布

伯努利分布

0-1 分布，（比如掷硬币，射箭中与不中）。

$\begin{aligned} X & \sim B(1, p) \\ P\{X=k\} &=p^{k}(1-p)^{1-k},(k=0,1) \\ E X &=p \\ D X &=p(1-p) \end{aligned}$

二项分布

多次同分布试验（比如多次掷骰子，掷硬币）。

$\begin{aligned} X & \sim B(n, p) \\ P\{X=k\} &=C_{n}^{k} p^{k}(1-p)^{n-k},(k=0,1, \cdots, n) \\ E X &=n p \\ D X &=n p(1-p) \end{aligned}$

泊松分布

质点流量（比如一段时间内买东西的顾客数量 k 的概率）。

$\begin{aligned} X & \sim P(\lambda) \\ P\{X=k\} &=\frac{\lambda^{k}}{k !} e^{-\lambda} \\ E X &=\lambda \\ D X &=\lambda \end{aligned}$

几何分布

首中即停止，与几何无关，比如一直投篮知道投中为止，投篮次数 k的概率。

$\begin{aligned} X & \sim G(p) \\ P\{X=k\} &=(1-p)^{k-1} p \\ E X &=\frac{1}{p} \\ D X &=\frac{1-p}{p^{2}} \end{aligned}$

超几何分布

总共有 $N$ 个球，其中有 $M$ 个是红色的，是从中不放回地取 $n$ 个球，其中有 $k$ 个是红球的概率。

$\begin{aligned} X & \sim H(n, N, M) \\ P\{X=k\} &=\frac{C_{M}^{k} C_{N-M}^{n-k}}{C_{N}^{n}},(k \leqslant \min \{M, n\}) \\ E X &=n \frac{M}{N} \\ D X &=n \frac{M}{N} \cdot\left(1-\frac{M}{N}\right) \cdot \frac{N-n}{N-1} \end{aligned}$

连续型分布

均匀分布

$\begin{aligned} X & \sim U(a, b) \\ f(x) &=\left\{\begin{array}{l}\frac{1}{b-a}, a<x<b \\ 0, x=\text { other }\end{array}\right.\\ F(x) &=\left\{\begin{array}{l}0, x<a \\ \frac{x-a}{b-a}, a \leqslant x<b \\ 1, x \geqslant 0\end{array}\right.\\ E X &=\frac{b+a}{2} \\ D X &=\frac{(b-a)^{2}}{12} \end{aligned}$

指数分布

质点间隔时间（与泊松分布相对，比如买东西的两个顾客之间连续的时间间隔）。

$\begin{aligned} X & \sim E(\lambda) \\ f(x) &=\left\{\begin{array}{l} \lambda e^{-\lambda x}, x>0 \\ 0, x \leqslant 0 \end{array}\right. \end{aligned}$
$\begin{aligned} F(x) &=\left\{\begin{array}{l} 1-e^{-\lambda x}, x>0 \\ 0, x \leqslant 0 \\ (\lambda>0) \end{array}\right.\\ E X &=\frac{1}{\lambda} \\ D X &=\frac{1}{\lambda^{2}} \end{aligned}$

正态分布

世间万物的终极法则，中心极限定理的归宿。
$\begin{aligned} X & \sim N\left(\mu, \sigma^{2}\right) \\ f(x) &=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2} \frac{(x-\mu)^{2}}{\sigma^{2}}} \\ E X &=\mu \\ D X &=\sigma^{2} \\ F(x) &=P\{X \leqslant x\}=\Phi\left(\frac{x-\mu}{\sigma}\right) \\ 1 &=F(\mu-x)+F(\mu+x) \\ P\{a \leqslant X \leqslant b\} &=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right) \\ a X+b & \sim N\left(a \mu+b, a^{2} \sigma^{2}\right) \end{aligned}$

标准正态分布

$\begin{aligned} X & \sim N(0,1) \\ f(x) &=\frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} x^{2}} \\ \Phi(0) &=\frac{1}{2} \\ \Phi(-x) &=1-\Phi(x) \\ E X &=0 \\ D X &=1 \end{aligned}$