概率论与数理统计复习笔记

annesede

已于 2024-10-08 14:03:40 修改

阅读量1k

点赞数 26

分类专栏：课程记录文章标签：概率论笔记

于 2024-09-25 17:50:07 首次发布

本文链接：https://blog.csdn.net/annesede/article/details/142529544

版权

课程记录专栏收录该内容

26 篇文章 15 订阅

订阅专栏

概率: $P(X)\in[0,1]$ ; $P(\Omega)=1$ ; $A_i\cap A_j=\emptyset(i\ne j;i,j=1,2,...)\implies P(\sum_{i=1}^\infty A_i)=\sum_{i=1}^\infty P(A_i)$ .
$P(A+B)=P(A)+P(B)-P(AB);\ P(A-B)=P(A)-P(AB);\ P(AB)=P(A)P(B|A),\ P(A)\ne 0.$
两两独立: $P (A B) = P (A) P (B)$ , $P (A C) = P (A) P (B)$ , $P (BC) = P (B) P (C)$ .
相互独立: $A, B, C$ 两两独立, $P (A BC) = P (A) P (B) P (C)$ .

分布函数: $F(x)\in[0,1]$ ; $F(-\infty)=0$ , $F(+\infty)=1$ ; $F(x_0)=F(x_0+0)$ ; $\forall x_1<x_2$ s.t. $F(x_1)\leq F(x_2)$ .
概率密度: $F(x)=\int_{-\infty}^xf(t)\mathrm{d}t$ ; $f (x) = F^{'} (x)$ , 在 $x$ 处连续时.

$X\sim f(x),\ Y=g(X)\implies F_Y(y)=\int_{g(x)\leq y}f(x)\mathrm{d}x,\ f_Y(y)=F_Y'(y).$
$y = g (x)$ 可导且严格单调 $\implies f_Y(y)=f[g^{-1}(y)]|[g^{-1}(y)]'|,\ y\in(\alpha,\beta);\ \{\alpha,\beta\}=\{g(-\infty),g(+\infty)\}$ .

联合分布函数: $F(x,y)\in[0,1]$ ; $F(-\infty,x)=F(-\infty,y)=F(-\infty,-\infty)=0$ , $F(+\infty,+\infty)=1$ ; $F(x_0,y)=F(x_0+0,y)$ , $F(x,y_0)=F(x,y_0+0)$ ; $\forall x_1<x_2,y_1<y_2$ s.t. $F(x_1,y_2)+F(x_2,y_1)\leq F(x_1,y_1)+F(x_2,y_2)$ .
联合概率密度: $F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)\mathrm{d}u\mathrm{d}v$ ; $f(x,y)=\frac{\partial^2 F(x,y)}{\partial x\partial y}$ , 在 $(x, y)$ 处连续时.
边缘分布函数: $F_X(x)=F(x,+\infty)$ , $F_Y(y)=F(+\infty,y)$ .
条件概率密度: $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ , $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$ .
$X, Y$ 独立 $\iff f(x,y)=f_X(x,y)f_Y(x,y)$ .

$(X,Y)\sim f(x,y),\ Z=g(X,Y)\implies F_Z(z)=\iint_{g(x,y)\leq z}f(x,y)\mathrm{d}x\mathrm{d}y,\ f_Z{z}=F_Z'(z)$ .
卷积: $X, Y$ 相互独立, $Z=aX+bY(b\ne 0)\implies f_Z(z)=\frac{1}{|b|}\int_{-\infty}^{+\infty}f_X(x)f_Y(\frac{z-ax}{b})$ .
最值: ${X_i\}_{i=1}^n$ 相互独立, $F_{\max\{X_i\}_{i=1}^n}(u)=P\{\max\{X_i\}_{i=1}^n\leq u\}=\prod_{i=1}^n F_{X_i}(u)$ , $F_{\min\{X_i\}_{i=1}^n}(v)=P\{\min\{X_i\}_{i=1}^n\leq v\}=1-\prod_{i=1}^n [1-F_{X_i}(v)]$ .

期望: $X\sim f(x)$ , ${\rm E}X=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$ .
$Y=g(X)\implies {\rm E}Y=\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$ .
$Z=g(X,Y)\implies {\rm E}Z=\int_{-\infty}^{+\infty}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$ .
${\rm E}(aX\pm bY+c)=a{\rm E}X\pm b{\rm E}Y+c$ .

方差: ${\rm D}X={\rm E}[(X-{\rm E}X)^2]={\rm E}(X^2)-({\rm E}X)^2$ .
${\rm D}(aX\pm bY+c)=a^2{\rm D}X+b^2{\rm D}Y\pm 2ab{\rm Cov}(X,Y)$ .

协方差: ${\rm Cov}(x,y)={\rm E}[(X-{\rm}EX)(Y-{\rm}EY)]={\rm E}(XY)-{\rm E}(X){\rm E}(Y)$ .
$X, Y$ 不相关 $\iff {\rm Cov}(X,Y)=0$ .
${\rm Cov}(X,X)={\rm D}X$ ; ${\rm Cov}(X,C)=0$ .
${\rm Cov}(aX,bY)=ab{\rm Cov}(X,Y)$ ; ${\rm Cov}(X_1\pm X_2,Y)={\rm Cov}(X_1,Y)+{\rm Cov}(X_2,Y)$ .

相关系数: $\rho_{xy}=\frac{{\rm Cov}(X,Y)}{\sqrt{{\rm D}X{\rm D}Y}}$ .
$|\rho_{xy}|\leq 1$ .
$\rho_{xy}=1\iff\exists a>0,b$ s.t. $P\{Y=aX+b\}=1$ .

原点矩: ${\rm E}(X^k)$ ; 期望为一阶原点矩
中心矩: ${\rm E}[(X-{\rm E}X)^k]$ ; 方差为二阶中心矩.
混合原点矩: ${\rm E}(X^kY^l)$ .
混合中心矩: ${\rm E}[(X-{\rm E}X)^k(Y-{\rm E}Y)^l]$ ; 协方差为二阶混合中心矩.

分布	分布列/概率密度	期望	方差
0-1 分布	$p^k(1-p)^{1-k}\\ k=0,1;\ p\in(0,1)$	$p$	$p (1 - p)$
二项分布 $B (n, p)$	${n\choose k}p^k(1-p)^{n-k}\\ k=1,2,...,n;\ p\in(0,1)$	$n p$	$n p (1 - p)$
几何分布 $G (p)$	$(1-p)^{k-1}p\\ k\in\mathbb{N};\ p\in(0,1)$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
超几何分布 $H (N, M, n)$	${M\choose k}{{N-M}\choose{n-k}}/{N\choose n}\\ k\in\mathbb{N},\ k\leq n,\ k\leq M \\ M,N,n\in\mathbb{N}_+;\ M\leq N,\ n\leq N$	$\frac{nM}{N}$	$\frac{nM(N-n)(N-M)}{N^2(N-1)}$
泊松分布 $P(\lambda)$	$\frac{\lambda^k}{k!}e^{-\lambda}$	$\lambda$	$\lambda$
均匀分布 $U (a, b)$	$\begin{cases}\frac{1}{b-a}, & a<x<b \\ 0, & x\leq a\vee x\geq b\end{cases}$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
指数分布 $E(\lambda)$	$\begin{cases}0, & x\leq 0 \\ \lambda e^{-\lambda x}, & x>0 \end{cases}\ (\lambda>0)$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
正态分布 $N(\mu,\sigma^2)$	$\frac{1}{\sqrt{2\pi\sigma}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}$	$\mu$	$\sigma^2$

均匀分布: $F(x)=\begin{cases}0, & x<a \\ \frac{x-a}{b-a}, & a\leq x<b \\ 1, & x\geq b\end{cases}$ .
指数分布: $F(x)=\begin{cases}0, & x<0 \\ 1-e^{-\lambda x}, & x\geq 0\end{cases}$ ; $P\{X>s+t|X>s\}=P\{X>t\}\ (s,t\geq 0)$ .

切比雪夫: ${\rm E}X,{\rm D}X$ 存在时, $\forall\epsilon>0$ s.t. $P\{|X-{\rm E}X|<\epsilon\}\geq 1-\frac{{\rm D}X}{\epsilon^2}$ 或 $P\{|X-{\rm E}X|\geq\epsilon\}>\frac{{\rm D}X}{\epsilon^2}$ .
依概率收敛: $\{X_n\}_{n=1}^\infty$ , $\forall\epsilon>0$ s.t. $\lim_{n\to\infty}P\{|X_n-a|<\epsilon\}=1$ , 记为 $X_n\stackrel{P}{\longrightarrow}a$ .
伯努利: $f_A$ 为任意多次独立重复试验中事件 $A$ 发生的频率, $p_A$ 为每次试验中事件 $A$ 发生的概率 $\implies f_A\stackrel{P}{\longrightarrow}p_A$ .
切比雪夫: $\{X_n\}_{n=1}^\infty$ 相互独立, $\{{\rm E}X_n\}_{n=1}^\infty$ 存在, $\{{\rm D}X_n\}_{n=1}^\infty$ 存在且一致有界 $\implies\bar{X}\stackrel{P}{\longrightarrow}\overline{{\rm E}X}$ .
辛钦: $\{X_n\}_{n=1}^\infty$ 独立同分布, $\{{\rm E}X_n\}_{n=1}^\infty=\mu\implies\bar{X}\stackrel{P}{\longrightarrow}\mu$ .
林德伯格-列维: $\{X_n\}_{n=1}^\infty$ 独立同分布, $\{{\rm E}X_n\}_{n=1}^\infty=\mu$ , $\{{\rm D}X_n\}_{n=1}^\infty=\sigma^2>0\implies P\{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\leq x\}\to\Phi(x)$ .
棣莫弗-拉普拉斯: $\{X_i\}_{n=1}^\infty\sim B(n,p)\implies P\{\frac{X_n-np}{\sqrt{np(1-p)}}\leq x\}\to\Phi(x)$

样本均值: $\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i$ ; ${\rm E}\bar{X}={\rm E}X$ , ${\rm D}\bar{X}=\frac{1}{n}{\rm D}X$ .
样本方差: $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})$ ; ${\rm E}(S^2)={\rm D}X$ - 无偏修正/自由度为 $n - 1$ .
样本原点矩: $A_k=\frac{1}{n}\sum_{i=1}^nX_i^k$ .
样本中心矩: $B_k=\frac{1}{n}\sum_{i=1}^n(X_i^k-\bar{X})$ .

矩估计: $A_k={\rm E}(X^k)=\mu_k(\{\theta_i\}_{i=1}^m)$ .
极大似然估计: $\max{\prod_{i=1}^nf(X_i;\{\theta_i\}_{i=1}^m)}$ .
无偏性: ${\rm E}\hat{\theta}=\theta$ .
有效性: 无偏时, $\min\{{\rm D}\hat{\theta}_i\}_{i=1}^k$ .
一致性: $\forall \epsilon>0$ s.t. $\lim_{n\to\infty}P\{|\hat{\theta}_n-\theta|<\epsilon\}=1$ .

上 $\alpha$ 分位点: $P\{X>F_\alpha\}=\int_{F_\alpha}^{+\infty}f(x)\mathrm{d}x=\alpha$ .
正态分布: $X\sim N(\mu,\sigma^2)$ , $F(x)=\Phi(\frac{x-\mu}{\sigma})$ .
$\phi(x)=\phi(-x)$ , 即 $\Phi(x)+\Phi(-x)=1$ .
$P\{X\leq\mu-a\}=P\{X\geq\mu+a\}$ ; $P\{|X|\geq a\}=2\Phi(a)-1$ .
$\chi^2$ 分布: $\{X_i\}_{i=1}^n\sim N(0,1)$ 相互独立, $X=\sum_{i=1}^nX_i^2\sim\chi^2(n)$ .
${\rm E}X=n$ , ${\rm D}X=2n$ .
$X_1\sim\chi^2(n_1)$ , $X_2\sim\chi^2(n_2)\implies X_1+X_2\sim\chi^2(n_1+n_2)$ .
$t$ 分布: $X\sim N(0,1)$ , $Y\sim\chi^2(n)$ 相互独立, $t=\frac{X}{\sqrt{Y/n}}\sim t(n)$ .
$f (x) = f (- x)$ , 即 $F (x) + F (- x) = 1$ ; $t(n)\approx N(0,1)$ , $t\to\infty$ .
$F$ 分布: $X\sim\chi^2(n_1)$ , $Y\sim\chi^2(n_2)$ 相互独立, $F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$ .
$1/F\sim F(n_2,n_1)$ ; $t^2\sim F(1,n)$ .

单个正态总体: $X\sim N(\mu,\sigma^2)$ , $\bar{X}\sim N(\mu,\frac{\sigma^2}{n})$
$\implies U=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$
$\implies\chi^2=\frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma^2}=\sum_{i=1}^n (\frac{X_i-\mu}{\sigma})^2\sim\chi^2(n)$
$\implies\chi^2=\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^n(\frac{X_i-\mu}{\sigma}-\frac{\bar{X}-\mu}{\sigma})^2=\sum_{i=1}^{n-1}Z_i^2\sim\chi^2(n-1)$
$\implies t=\frac{\bar{X}-\mu}{S/\sqrt{n}}=\frac{(\bar{X}-\mu)/(\sigma/\sqrt{n})}{\sqrt{[(n-1)S^2]/[(n-1)\sigma^2]}}\sim t(n-1)$ .

两个正态总体: $X\sim N(\mu_1,\sigma_1)$ , $Y\sim N(\mu_2,\sigma_2)$ 相互独立.
$U=\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}\sim N(0,1)$ .
$V=\frac{(n-1)S_1^2}{\sigma_1^2}+\frac{(n-1)S_2^2}{\sigma_2^2}\sim\chi^2(n_1+n_2-2)$ .
$t=\frac{U}{\sqrt{V/(n_1+n_2-2)}}\sim t(n_1+n_2-2)$ .
$F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1+n_2-2)$

区间估计: 构造分布 $W=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\hat{\theta})$ , 由上 $\alpha$ 分位点(即 $1-\alpha$ 置信水平)求解 $\hat{\theta}$ 取值范围.
双侧置信区间: $P\{F_{1-\frac{\alpha}{2}}<W<F_\frac{\alpha}{2}\}=1-\alpha$ .
单侧置信区间: $P\{W<F_{1-\alpha}\}=1-\alpha$ 及 $P\{W>F_\alpha\}=1-\alpha$ .

第一类错误( $\alpha$ ): “弃真”, 假设 $H_0$ 为真时拒绝.
第二类错误( $\beta$ ): “存伪”, 假设 $H_0$ 为假时接受.
样本容量固定时, $\alpha$ 与 $\beta$ 反向变动.
显著性检验: 只控制犯第一类错误的概率; 给定假设 $\theta_0$ 计算统计量 $W_0=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\theta_0)$ , 由上 $\alpha$ 分位点(即 $1-\alpha$ 置信水平)给出拒绝域.
$\theta=\theta_0$ 拒绝域: $W_0\leq F_{1-\frac{\alpha}{2}}$ 或 $W_0\geq F_\frac{\alpha}{2}$ .
$\theta\leq\theta_0$ 拒绝域: $W_0\geq F_\alpha$ .
$\theta\geq\theta_0$ 拒绝域: $W_0\leq F_{1-\alpha}$ .