概率论与数理统计

CenShell

于 2021-09-15 14:46:59 发布

阅读量285

点赞数

分类专栏：课程笔记文章标签：概率论

本文链接：https://blog.csdn.net/qq_40471595/article/details/120308411

版权

课程笔记专栏收录该内容

10 篇文章 2 订阅

订阅专栏

第1章随机事件与概率

基本公式
$\begin{aligned} &P(A∪B) =P(A)+P(B)-P(AB) \\ &P(A∪B∪C) = P(A)+P(B)+P(C) - P(AB)- P(AC)- P(BC)+P(ABC)\\ &P(A-B) = P(A)-P(AB)\\ &P(AB) = P(A)\cdot P(B|A) \end{aligned}$
相互独立和两两独立
$\Rightarrow \begin{cases} P(AB) = P(A) \cdot P(B)\\ P(AC) = P(A) \cdot P(C)\\ P(BC) = P(B) \cdot P(C)\\ P(ABC) = P(A) \cdot P(B) \cdot P(C) \end{cases} \\\,\\ A, B,C 两两独立 \Rightarrow \begin{cases} P(AB) = P(A) \cdot P(B)\\ P(AC) = P(A) \cdot P(C)\\ P(BC) = P(B) \cdot P(C)\\ \end{cases} \\\,\\ P(ABC) \le P(A) \le P(A∪B∪C)$

第2章一维随机变量分布

1.一维随机变量的分布函数

分布函数的性质：
$\begin{aligned} &F(-\infty) = 0,F(+\infty) = 1；单调非减；右连续 \\ &P\{X \le x\} = F(x) \\ &P\{ X = x \} = F(x)-F(x-0) \\ &P\{x_1 < X \le x_2 \} = F(x_2)-F(x_1)\\ &P\{x_1 \le X \le x_2 \} = F(x_2)-F(x_1) + P\{ X = x_1 \}\\ \end{aligned}$
离散型分布函数的性质：
$F(x)呈阶梯状，\exists\, x 使得 P\{X=x\} > 0$
连续型分布函数的性质：
$F(x)处处连续，\forall\, x 都有P\{X=x\} = 0$

2.常见一维分布

超几何分布： $X\sim H(N,M,n) \quad E(X) = n\frac{M}{N}$
$P\{X = k\} = \frac{C_M^k\cdot C_{N-M}^{n-k}}{C_{N}^n}$
二项分布： $\sim B(n,p) \quad E(X) = np，D(X) = np(1-p)$
$P\{X = k\} = C_n^kp^k(1-p)^{n-k}$
泊松分布： $\sim P(\lambda) \quad E(X) = \lambda，D(X) = \lambda$
$P\{X = k\} = \lim_{n\to\infty}C_n^kp^k(1-p)^{n-k} = \frac{\lambda^ke^{-\lambda}}{k!}$
指数分布： $\sim E(\lambda)\quad E(X) = \frac{1}{\lambda}，D(X)= \frac1{\lambda^2}$
$\begin{cases} \lambda e^{-\lambda x}, x > 0 \\ 0, \quad x \le 0 \end{cases} \quad F(x) = \begin{cases} 1- e^{-\lambda x}, x > 0 \\ 0, \quad x \le 0 \end{cases}$
均匀分布： $\sim U(a,b) \quad E(X) = \frac{a+b}{2}，D(X)= \frac{(b-a)^2}{12}$
$\begin{cases} \frac{1}{b-a},\quad a<x<b \\ 0, \quad\quad 其他 \end{cases}$
正态分布： $\sim N(\mu,\sigma^2) \quad E(X) = \mu，D(X)= \sigma^2$
$F(x)=\Phi(\frac{x-\mu}{\sigma}) \quad f(x)= \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \quad \phi(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}2}$

第3章多维随机变量分布

1.二维随机变量的分布函数

$P\{X\le x, Y \le y\} = \int_{-\infty}^xdu\int_{-\infty}^yf(u,v)dv \\ \frac{\partial^2 F(x,y)}{\partial x\partial y} = f(x,y)$

2.边缘分布、条件分布

边缘分布：
$F_X(x) = \int_{-\infty}^{x}{\rm d}x \int_{-\infty}^{+\infty}f(x,y){\rm d}y \quad f_X(x) = \int_{-\infty}^{+\infty}f(x,y){\rm d}y \\\,\\ F_Y(x) = \int_{-\infty}^{y}{\rm d}y \int_{-\infty}^{+\infty}f(x,y){\rm d}x \quad f_Y(x) = \int_{-\infty}^{+\infty}f(x,y){\rm d}x$
条件分布
$F_{X|Y}(x\,|\,y) = P\{X\le x \,|\,Y = y\} = \int_{-\infty}^{x}\frac{f(t,y)}{f_Y(y)}{\rm d}t \quad f_{X|Y}(x\,|\,y) = \frac{f(x,y)}{f_Y(y)} \\\,\\ F_{Y|X}(y\,|\,x) = P\{Y\le x \,|\,X = x\} = \int_{-\infty}^{y}\frac{f(x,t)}{f_X(y)}{\rm d}t \quad f_{Y|X}(y\,|\,x) = \frac{f(x,y)}{f_X(y)}$
已知 $f_X(x)，f_{Y|X}(y | x), 求 f(x,y)$
当 $f_X(x) > 0$ 时, 使用 $f_{Y|X}(y\,|\, x) = \frac{f(x,y)}{f_X(x)}$ , 计算 $f (x, y)$ 在该条件下的积分
然后讨论 $f_X(x) = 0$ 的情况

3.二维正态分布

$\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2; \rho)$

$\sim N(\mu_1,\sigma_1^2), Y \sim N(\mu_2,\sigma_2^2)$
$\rho = 0 \Leftrightarrow X，Y$ 相互独立

4.多元随机变量函数的分布

连续型卷积公式：设 $(X, Y)$ 为二维连续型随机变量，概率密度为 $f (x, y)$
$\begin{aligned} &Z=X+Y：f_Z(z) = \int_{-\infty}^{+\infty}f(x,z-x){\rm d}x = \int_{-\infty}^{+\infty}f(z-y,y){\rm d}y \\ &Z=aX+bY：f_Z(z) = \frac1{|b|}\int_{-\infty}^{+\infty}f(x,\frac{z-ax}b){\rm d}x = \frac1{|a|}\int_{-\infty}^{+\infty}f(\frac{z-by}a,y){\rm d}y \\ &Z=XY：f_Z(z) = \int_{-\infty}^{+\infty}\frac{1}{|x|}f(x,\frac zx){\rm d}x \\ &Z = \frac YX：f_Z(z) = \int_{-\infty}^{+\infty}|x|\cdot f(x,xz){\rm d}x \end{aligned}$
X, Y 相互独立， $Z = m a x (X, Y)$
$\begin{aligned} F_{Z}(z) &= P\{max(X,Y) \leq z \} \\ & = P\{X \leq z, Y \leq z \} \\ & = P\{X \leq z\} \cdot P\{Y \leq z \} \\ & = F_X(z) \cdot F_Y(z) \end{aligned}$
X, Y 相互独立， $Z = m i n (X, Y)$
$\begin{aligned} F_{Z}(z) &= P\{min(X,Y) \leq z \} \\ & = 1 - P\{min(X,Y) > z \} \\ & = 1 - P\{X > z, Y > z \} \\ & = 1 - P\{X > z\} \cdot P\{Y > z \} \\ & = 1- [1-F_X(z)] \cdot [1- F_Y(z)] \end{aligned}$
独立分布的线性组合
$\begin{aligned} &X_i \sim P(\lambda_i) \Rightarrow \sum_{i=1}^nX_i \sim P(\sum_{i=1}^n\lambda_i) \\ &X_i \sim B(n_i,p) \Rightarrow \sum_{i=1}^nX_i \sim B(\sum_{i=1}^n n_i, p) \\ &X_i \sim N(\mu_i,\sigma^2_i) \Rightarrow \sum_{i=1}^n a_iX_i \sim N(\sum_{i=1}^n a_i\mu_i, \sum_{i=1}^n a_i^2\sigma^2_i) \\ &X_i \sim E(\lambda_i) \Rightarrow min\{X_1, X_2, .., X_n\} \sim E(\sum_{i=1}^n\lambda_i) \end{aligned}$

第4章随机变量的数字特征

1.常用积分

$\int_{0}^{+\infty}e^{-x^2}dx = \frac{\sqrt{\pi}}2 \quad \int_{0}^{+\infty}x^2 e^{-x^2}dx = \frac{\sqrt{\pi}}4 \quad \int_0^{+\infty}x^ne^{-x}dx = n!$

2.数学期望

随机变量 $X$ 的概率密度为 $f (x)$ ，则期望为：
$\int_{-\infty}^{+\infty} xf(x)dx$
随机变量 $Y = g (X)$ 的概率密度为 $f (x)$ ，则期望为：
$\int_{-\infty}^{+\infty} g(x)f(x)dx$
随机变量 $Z = g (X, Y)$ 的概率密度为 $f (x, y)$ ，则期望为：
$\int_{-\infty}^{+\infty}dx\int_{-\infty}^{+\infty} g(x,y)f(x,y)dy$
数学期望的性质：
$\begin{aligned} &E(aX+b) = aE(X) + b \\ &E(X \pm Y) = E(X) \pm E(Y) \end{aligned}$

3.方差

定义： $D(X) = E(X^2) - E^2(X)$
方差的性质
$\begin{aligned} &D(aX+b) = a^2D(X) \\ &D(X\pm Y) = D(X) + D(Y) \pm Cov(X,Y) \\ \end{aligned}$

4.协方差、相关系数

$\begin{aligned} &Cov(X,Y) = E(XY)-E(X)E(Y) \\ &\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} = \frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)}\sqrt{D(Y)}} \\ &Cov(X,Y) = Cov(Y,X) \\ &Cov(aX,bY) = ab \cdot Cov(X,Y) \\ &Cov(X_1 + X_2,Y) = Cov(X_1,Y) + Cov(X_2,Y) \\ &X,Y相互独立 \Rightarrow \begin{cases} X,Y不相关 \\ \rho_{XY} = 0 \\ Cov(X,Y) = 0 \\ \end{cases}, 反之不成立 \end{aligned}$

第5章大数定律与中心极限定理

1.大数定律

2.中心极限定理

第6章数理统计

1.样本数字特征

设 $\sim N(\mu, \sigma^2)，X_1, X_2,..., X_n$ 是来自总体的样本，则有 $\overline X$ 和 $S^2$ 相互独立
$\overline X = \frac1n \sum_{i=1}^n X_i \quad S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2 \\ \begin{aligned} &E(\overline X) = \mu \\ &D(\overline X) = \frac{\sigma^2}{n}\\ &E(S^2) = \sigma^2 \\ &D(S^2) = D[\frac{\sigma^2}{(n-1)} \chi^2(n-1)] = \frac{2\sigma^4}{(n-1)} \\ &D(X_i-\overline X) = \frac{n-1}{n}\sigma^2\\ \end{aligned}$

2.抽样分布

$\chi^2$ 分布：设 $X_i \sim N(0, 1)$
$\chi^2 = X_1^2 + X_2^2 + .. + X_n^2 \sim \chi^2(n) \\\,\\ E(\chi^2) = n \quad D(\chi^2) = 2n$
$t$ 分布：设 $\sim N(0,1)，Y \sim \chi^2(n)$ , 且 X 和 Y 相互独立
$\frac{X}{\sqrt{Y/n}} \sim t(n) \quad t_{\alpha}(n) = -t_{1-\alpha}(n) \\ E(T)=0\quad D(T)=\frac {n}{n-2}$
$F$ 分布：设 $\sim \chi_1^2(n1)，Y \sim \chi_2^2(n2)$ ，且 X 和 Y 相互独立
$\frac{X/n_1}{Y/n_2} \sim F(n_1,n_2) \quad F_{1-\alpha}(n_1,n_2) = \frac{1}{F_{\alpha}(n_2,n_1)} \\\,\\ T \sim t(n) \Rightarrow T^2 \sim F(1,n)$
正态总体的抽样分布：
$\begin{aligned} & \frac{\overline X - \mu}{\frac{\sigma}{\sqrt {n}}} \sim N(0,1) \quad \frac{\overline X - \mu}{\frac{S}{\sqrt {n}}} \sim t(n-1) \\ & \frac{1}{\sigma^2} \sum_{i=1}^n(X_i - \overline X)^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \\ & \frac{1}{\sigma^2} \sum_{i=1}^n(X_i - \mu)^2 \sim \chi^2(n) \\ \end{aligned}$

第7章参数估计

1.无偏估计

定义：如果 $E(\hat \theta) = \theta$ ，则 $\hat\theta$ 是 $\theta$ 的无偏估计
举例： $\overline X$ 是 $\mu$ 的无偏估计， $S^2$ 是 $\sigma^2$ 的无偏估计

2.矩估计

定义：设总体 X 含有未知参数 $\theta_1,\theta_2,...,\theta_k$ ，解方程组
$E(X^l) = \frac1n \sum_{i=1}^n X_i^l \space , \space l = 1,2,...,k$
举例：设 $\sim N(\mu, \sigma^2)$ ，求 $\mu, \sigma^2$ 的矩估计

3.极大似然估计

定义：
$L(\theta) = \prod_{i=1}^n f(x_i; \theta) \begin{cases} \frac{dlnL(\theta)}{d\theta} = 0 有解 \Rightarrow 解出\theta即可 \\\,\\ \frac{dlnL(\theta)}{d\theta} = 0 无解 \Rightarrow 寻找\theta使得L(\theta)最大 \\ \end{cases}$
举例：设 $\sim U[a,b]$ ，求 a 和 b 的极大似然估计
$\hat{a} = min\{X_1,X_2,...,X_n \} \quad \hat{b} = max\{X_1,X_2,...,X_n \}$

4.置信区间估计

置信水平为 $1-\alpha$ ：
$\sigma^2 已知，估计\mu: (\overline X - \frac{\sigma}{\sqrt n}z_{\frac{\alpha}{2}}, \overline X +\frac{\sigma}{\sqrt n} z_{\frac{\alpha}{2}} ) \\ \space \\ \sigma^2 未知，估计\mu: (\overline X -\frac{S}{\sqrt n} t_{\frac{\alpha}{2}} , \overline X + \frac{S}{\sqrt n}t_{\frac{\alpha}{2}} ) \\$

CenShell

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
概率论与数理统计

Probability Theory第1章随机事件与概率基本公式P(A∪B)=P(A)+P(B)−P(AB)P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)P(A−B)=P(A)−P(AB)P(AB)=P(A)⋅P(B∣A)\begin{aligned}&P(A∪B) =P(A)+P(B)-P(AB) \\ &P(A∪B∪C) = P(A)+P(B)+P(C) - P(AB)- P(AC)- P(BC)+P(ABC)\\&amp
复制链接

扫一扫