概率论期末复习

最新推荐文章于 2024-07-14 23:26:53 发布

一个老蒟蒻

最新推荐文章于 2024-07-14 23:26:53 发布

阅读量472

点赞数 6

分类专栏：数学文章标签：概率论

本文链接：https://blog.csdn.net/qq_30347475/article/details/125467274

版权

数学专栏收录该内容

2 篇文章 2 订阅

订阅专栏

概率论期末复习要点

说明：此复习要点主要为关于各种疑难公式的推导过程，如果希望速成请直接背公式

随机变量的数字特征

$D(X\pm Y)=D(X)+D(Y)$

$\begin{aligned} D(X\pm Y)&=E([(X\pm Y)-E(X\pm Y)]^2)\\ &=E([\ (X - E(X))\ \pm\ (Y- E(Y)\ )\ ]^2)\\ &=E[(X-E(X))^2]+E[(Y-E(Y))^2]\pm E[(X-E(X))(Y-E(Y))]\\ &=D(X)+D(Y)\pm E[(X-E(X))(Y-E(Y))] \end{aligned}$
协方差 $c o v (X, Y) = E (X Y) - E (X) E (Y)$

$\begin{aligned} cov(X,Y)&=E\{[X-E(X)][Y-E(Y)]\}\\ &=E[XY-XE(Y)-YE(X)+E(X)E(Y)]\\ &=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\\ &=E(XY)-E(X)E(Y) \end{aligned}$
相关系数 $\rho(X,Y)=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

由于协方差的值会受到X和Y的量纲大小影响，为了克服这个缺点，我们引入相关系数的概念

定义1

设(X,Y)为一个二位随机变量，若cov(X,Y)存在，且 $D (X) > 0, D (Y) > 0$ ,则称 $\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 为X与Y的相关系数，记作 $\rho(X,Y)或\rho_{xy}$
$\rho(X,Y)=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
相关系数 $\rho(X,Y)$ 是一个无量纲的量，具有如下特性:

$|\rho(X,Y)|\le1$
$|\rho(X,Y)|=1$ 的充要条件是 $P (Y = a X + b) = 1$ ，其中a，b为常数

以上的性质说明相关系数 $\rho_{xy}$ 表示的是X,Y取值之间的线性关系的密切程度。

当 $|\rho(X,Y)|=1$ 时，X与Y的取值也许会有 $Y\neq aX+b$ 的情况发生，不过这种情况发生的概率为0，可以不计（就好比连续函数可能取到某个值，但是取到其的概率为0）

定义2

若X与Y的相关系数 $\rho(X,Y)=0$ ,则称X与Y不相关

(X，Y如果相互独立那么X，Y一定不相关，但是X，Y不相关不一定相互独立)

例题1：

设随机变量 $X\sim N(0,1)$ , $Y=X^2$ ,则 $\rho(X,Y)=?$
$\begin{aligned} &\because X\sim N(0,1)\\ &\therefore E(X^2)=D(X)+[E(X)]^2 =1\\ &\therefore E(Y)=E(X^2)=1\\ &\because E(X)=0,E(Y)=0,E(XY)=0\\ &\therefore cov(X,Y)=E(XY)-E(X)E(Y)=0-0=0\\ &\therefore \rho(X,Y)=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=0 \end{aligned}$
所以为什么，E(XY)=0呢？

这里我们要知道，这道题中 $E(XY)=E(X^3)$

于是，我们不妨开始递推 $E(X^k)$ 的一般规律：
$\begin{aligned} E(X^k)&= \int_{-\infty}^{+\infty}x^k\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx\\ &=\int_{-\infty}^{+\infty} \frac{1}{k+1} \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx^{k+1}\\ &=\frac{1}{\sqrt{2\pi}(k+1)}x^{k+1}e^{-\frac{x^2}{2}}|_{-\infty}^{+\infty}+\frac{1}{(k+1)}\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}x^{k+2}e^{-\frac{x^2}{2}}dx\\ &=\frac{1}{\sqrt{2\pi}(k+1)}x^{k+1}|_{-\infty}^{+\infty}+\frac{1}{k+1}E(X^{k+2})\\ &=0+\frac{1}{k+1}E(X^{k+2})\\ \end{aligned}$
由此可得公式如下
$E(X^k)=\begin{cases} \begin{aligned} (k-1)E(X^{k-2})&,k\ MOD \ 2=0\\ 1&,k=2\\ 0&,k\ MOD\ 2=1 \end{aligned} \end{cases}$

$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$

已知X的密度函数为 $p(x)=\begin{cases}\begin{aligned}&0.5&x\in[0,2]\\ &0&其他\end{aligned}\end{cases}$ ，则X的数学期望 $E (X) = ?$
$\begin{aligned} E(X)&=\int_{-\infty}^{+\infty}xf(x)dx=\int_{0}^{2}xf(x)dx\\ &=\int_{0}^{2}\frac{x}{2}dx=\frac{x^2}{4}|_{0}^{2}=1 \end{aligned}$

$E (C) = C$
$E(XY)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xyf(x,y)dxdy$

例题：设随机变量(X,Y)具有概率密度， $f(x,y)=\begin{cases}\begin{aligned}&24xy&0\leq x\leq1,0\leq y\leq1,x+y\leq1\\&0&其他\end{aligned}\end{cases}$

求 $E (X), E (Y), E (X Y)$

求 $E (X)$
$\begin{aligned} E(X)&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}24x^2ydxdy\\ &=\int_{0}^{1}24x^2dx\int_{0}^{1-x}ydy\\ &=\int_{0}^{1}\frac{(1-x)^2}{2}24x^2dx\\ &=\int_{0}^{1}12x^4-24x^3+12x^2dx\\ &=\frac{12}{5}x^5-6x^4+4x^3|_0^1\\ &=0.4 \end{aligned}$

求 $E (Y)$
$\begin{aligned} E(Y)&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}24xy^2dxdy\\ &=\int_{0}^{1}24y^2dy\int_{0}^{1-y}xdx\\ &=\int_{0}^{1}\frac{(1-y)^2}{2}24y^2dx\\ &=\int_{0}^{1}12y^4-24y^3+12y^2dy\\ &=\frac{12}{5}y^5-6y^4+4y^3|_0^1\\ &=0.4 \end{aligned}$
(其实对称性可以直接求)

求 $E (X Y)$
$\begin{aligned} E(XY)&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}24x^2y^2dxdy\\ &=\int_{0}^{1}24y^2dy\int_{0}^{1-y}x^2dx\\ &=\int_{0}^{1}\frac{(1-y)^3}{3}24y^2dx\\ &=8\int_{0}^{1}(-y^5+3y^4-3y^3+y^2)dy\\ &=\frac{1}{60} \end{aligned}$

大数定理和中心极限定理

切比雪夫不等式

定理1

设随机变量 $X$ 的数学期望 $E (X)$ 与方差 $D (X)$ 都存在，则对任意的常数 $\epsilon>0$ ,都有：
$P(|X-E(X)|\geq \epsilon)\leq\frac{D(X)}{\epsilon^2}$
含义：

对于任意一个分布，其随机变量 $X$ 落在其期望 $E (X)$ 的长度为 $\epsilon$ 的邻域的范围外的概率小于一定的值

例题:已知正常成人男性的血液中，单位白细胞数平均是 $7300 个 / m l$ ,均方差是700，利用切比雪夫不等式估计单位白细胞数在5200~9400之间的概率

**解:**设 $X$ 表示成年男性血液中白细胞数，由题知:

$E (X) = 7300$ ， $D(X)=700^2$ ,由切比雪夫不等式得:
$\begin{aligned} P(5200<X<9400)&=P(-2100<X-7300<2100)\\ &=P(|X-7300|<2100)\\ &=1-P(|X-7300|\geq2100)\geq1-\frac{D(X)}{\epsilon^2}\\ &=1-\frac{700^2}{2100^2}=\frac{8}{9} \end{aligned}$
由此可知，切比雪夫不等式在计算连续随机变量的区间概率是很方便的

大数定理

设 $X_1,X_2,...,X_n$ 是相互独立的，服从同一分布的随机变量序列，且具有数学期望 $E(X_k)=\mu(k=1,2,...,n)$ ，则对于任意 $\epsilon>0$ ，有：
$\lim_{n->\infty}P\{|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon\}=1$

含义:

当样本空间足够大的时候，样本的期望就等于总体的期望

证明:
$\begin{aligned} E(\frac{1}{n}\sum_{k=1}^nX_k)&=\frac{1}{n}\sum_{k=1}^nE(X_k)=\mu\\ D(\frac{1}{n}\sum_{k=1}^nX_k)&=\frac{1}{n^2}\sum_{k=1}^nD(X_k)=\frac{\sigma^2}{n}\\ 由切比雪夫不等&式可知:\\ P(|\frac{1}{n}\sum_{k=1}^nX_k&-\mu|\geq\epsilon)\leq\frac{D(x)}{\epsilon^2}\\ \therefore 1-\frac{D(X)}{\epsilon^2}\leq & P(|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon)\leq1\\ 即1-\frac{\sigma^2}{n\epsilon^2}\leq P&(|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon)\leq1\\ \therefore1\leq \lim_{n->\infty}P(|&\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon)\leq1\\ \therefore\lim_{n->\infty}P(|\frac{1}{n}\sum_{k=1}^n&X_k-\mu|<\epsilon)=1 \end{aligned}$

抽样分布

样本均值: $\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i$
未修正的样本方差: $S_{0}^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2$
修正的样本方差: $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2$

为社么要修正？

可以观察第五个式子，如果我们没有修正，那么未修正的样本方差我们会发现不等于 $\sigma^2$ ,那么为了能无偏估计，我们只能使用修正后的样本方差，来将结果“纠正”

$E(\bar{X})=\mu$

推导:
$E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}X_i)=\frac{1}{n}\sum_{i=1}^nE(X_i)=\frac{1}{n}n\mu=\mu$

$D(\bar{X})=\frac{\sigma^2}{n}$

推导:
$D(\bar{X})=D(\frac{1}{n}\sum_{i=1}^{n}X_i)=\frac{1}{n^2}\sum_{i=1}^{n}D(X_i)=\frac{1}{n^2}n\sigma^2=\frac{\sigma^2}{n}$

$E(S^2)=\sigma^2$

推导:
$\begin{aligned} E(S^2)&=E(\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2)\\ &=\frac{1}{n-1}E(\sum_{i=1}^n[(X_i-\mu)-(\bar{X}-\mu)]^2)\\ &=\frac{1}{n-1}E[\sum_{i=1}^n(X_i-\mu)^2-2\sum_{i=1}^n(X_i-\mu)(\bar{X}-\mu)+\sum_{i=1}^n(\bar{X}-\mu)^2]\\ &=\frac{1}{n-1}\{E[\sum_{i=1}^n(X_i-\mu)^2]-2E[\sum_{i=1}^n(X_i-\mu)(\bar{X}-\mu)]+E[\sum_{i=1}^n(\bar{X}-\mu)^2]\}\\ &=\frac{1}{n-1}[n\sigma^2-2nE(\bar{X}-\mu)^2+nE(\bar{X}-\mu)^2]\\ &=\frac{1}{n-1}[n\sigma^2-nE(\bar{X}-\mu)^2]\\ &=\frac{1}{n-1}[n\sigma^2-nD(\bar{X})]\\ &=\frac{1}{n-1}[n\sigma^2-n\frac{\sigma^2}{n}]\\ &=\sigma^2 \end{aligned}$

练习题:

样本 $X_1,...,X_n)$ 取自标准正态总体 $N (0, 1)$ , $\bar{X},S$ 分别为样本均值及样本标准差，则 $n\bar{X}\sim?$

$\begin{aligned} \because&E(n\bar{X})=E(\sum_{i=1}^nX_i)=\sum_{i=1}^nE(X_i)=n\mu=0\\ &D(n\bar{X})=n^2D(\bar{X})=n^2\frac{\sigma^2}{n}=n\sigma^2=n\\ \therefore &n\bar{X}\sim N(0,n) \end{aligned}$

卡方分布

定义：

设样本 $X_1,X_2,...,X_{n-1},X_n)$ 为 $N (0, 1)$ ,即标准正态分布的样本，则称随机变量 $X^2=\sum_{i=1}^nX_i^2$ 所服从的分布是自由度为n的 $\chi^2$ 分布，记为 $X^2\sim\chi^2(n)$

性质:

(1)当 $X^2\sim\chi^2(n)$ 时， $E(X^2)=n,D(X^2)=2n$
$\begin{aligned} E(X^2)&=E(\sum_{i=1}^nX_i^2)=\sum_{i=1}^nE(X_i^2)\\ &=\sum_{i=1}^n\{D(X_i)+[E(X_i)]^2\}\\ &=\sum_{i=1}^n1=n \end{aligned}$

$\begin{aligned} D(X^2)&=D(\sum_{i=1}^nX_i^2)=\sum_{i=1}^nD(X_i^2)\\ &=\sum_{i=1}^n[E(X_i^4)-E^2(X_i^2)]\\ &=\sum_{i=1}^n[E(X_i^4)-1]\\ \end{aligned}$

由公式6可知， $E(X_i^4)=3E(X_i^2)=3$
$\therefore D(X^2)=2n$
(2) $\chi^2$ 分布的可加性：

设 $X_1^2$ 与 $X_2^2$ 相互独立，且 $X_1^2\sim\chi^2(m),X_2^2\sim\chi^2(n)$ ,则
$X_1^2+X_2^2\sim\chi^2(m+n)$
(3)设 $X_1,X_2,...,X_n)$ 为正态分布 $N(\mu,\sigma^2)$ 的样本，则
$X^2=\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2(n)$
其实这个不就是简单的标准化吗，标准化以后就是标准正态分布了，那么当然服从卡方分布了

参数估计

参数估计就是，使用样本计算得到的参数来估计总体的参数(均值、方差。。。)

矩估计的定理：

假设 $X_1,X_2,...,X_n)$ 是取自总体 $X$ 的一个样本， $E(X)=\mu,D(X)=\sigma^2$

(1) $\bar{X}$ 是未知参数 $\mu$ 的矩估计

(2)当 $\mu$ 未知时, $S_n^2$ 是未知参数 $\sigma^2$ 的矩估计, $S_n$ 是未知参数 $\sigma$ 的矩估计

(3)当 $\mu$ 已知时， $\frac{1}{n}\sum_{i=1}^nX_i^2-\mu^2$ 是未知参数 $\sigma^2$ 的矩估计, $\sqrt{\frac{1}{n}\sum_{i=1}^nX_i^2-\mu^2}$ 是未知参数 $\sigma$ 的矩估计
- 例题1
  
  设总体 $X$ 在 $[a, b]$ 上服从均匀分布，a,b未知. $X_1,X_2,...,X_n$ 是来自 $X$ 的样本,试求 $a, b$ 的矩估计量
  
  分析:要求矩估计量，其实就是让我们找出未知量与矩的关系，然后通过这些关系，用已知的矩估计量来代替关系式中的矩，以求得未知量的矩估计
  
  $解 :$
  $\begin{aligned} &\mu_1=E(X)=\frac{a+b}{2}\\ &\mu_2=E(X^2)=D(X)+[E(X)]^2=\frac{(b-a)^2}{12}+\mu_1^2\\ \therefore&\begin{cases} a+b=2\mu_1\\ b-a=\sqrt{12(\mu_2-\mu_1^2)} \end{cases}\\ \therefore&\begin{cases} a=\mu_1-\sqrt{3(\mu_2-\mu_1^2)}\\ b=\mu_1+\sqrt{3(\mu_2-\mu_1^2)} \end{cases}\\ &使用A_1=\bar{X}代替\mu_1,使用A_2=fvo6y \frac{1}{n}\sum_{i=1}^nX_i^2代替\mu_2\\ &\hat{a}=\bar{X}-\sqrt{3(\frac{1}{n}\sum_{i=1}^nX_i^2-\bar{X}^2)}\\ &\hat{b}=\bar{X}+\sqrt{3(\frac{1}{n}\sum_{i=1}^nX_i^2-\bar{X}^2)}\\ &其中\frac{1}{n}\sum_{i=1}^nX_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2\\ \therefore&\hat{a}=\bar{X}-\sqrt{3(\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2)}\\ &\hat{b}=\bar{X}+\sqrt{3(\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2)}\\ \end{aligned}$
  
  这里列出$\frac{1}{n}\sum_{i=1}^nX_i2-\bar{X}^{2=\frac{1}{n}\sum_{i=1}}n(X_i-\bar{X})^2\$的证明
  $\begin{aligned} \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2&=\frac{1}{n}\sum_{i=1}^n(X_i^2-2X_i\bar{X}+\bar{X}^2)\\ &=\frac{1}{n}\sum_{i=1}^n(X_i^2)-2\frac{1}{n}\sum_{i=1}^nX_i\bar{X}+\frac{1}{n}\sum_{i=1}^n\bar{X}^2\\ &=\frac{1}{n}\sum_{i=1}^nX_i^2-2\bar{X}^2+\bar{X}^2\\ &=\frac{1}{n}\sum_{i=1}^n(X_i^2-\bar{X}^2) \end{aligned}$
设 $\hat{\theta}$ 是未知参数 $\theta$ 的一个估计量，若 $E(\hat{\theta})=\theta$ ,则称 $\hat{\theta}$ 为参数 $\theta$ 的一个无偏估计量
求最好值的一般方法：

先求每个估计量的期望，如果期望与总体的期望不一样就 $p a s s$

再求每个估计量的方差，方差最小的那个最好
求极大似然估计
1. 将几个样本带入分布函数，将结果相乘
2. 令相乘的结果为 $L(\theta)$ ，对 $L(\theta)$ 取对数
3. 对两边同时求导，求出取最大值时 $\theta_0$ 的值
4. 此时的 $\theta_0$ 就是极大似然估计值