大学概率论与数理统计知识点详细整理

最新推荐文章于 2024-06-21 12:29:22 发布

#self-discipline#

最新推荐文章于 2024-06-21 12:29:22 发布

阅读量4.6w

收藏 1.2k

点赞数 156

文章标签：概率论

本文链接：https://blog.csdn.net/ssslevel/article/details/107610950

版权

概率论学习自述

所学概率论与数理统计属于大学的一门课程，通过数学方法来解释现实生活中的规律性。主要针对随机变量开展研究。对随机变量的分布，数字特征（数学期望，方差，协方差，矩...）进行研究并依据概率论中的一些基本定理可以通过样本对统计参数进行估计和检验。

概率论的一些基本概念

随机试验：1.可重复进行2.各个结果已知不止一个且无法确定试验出现结果
样本空间：所有可能结果组成的集合
随机事件：一些结果（样本点）的集合
频率与概率：频率在试验趋于无穷时等于概率。概率具有1.非负性2.可列可加性
独立性：两事件的发生相互不影响称为二者独立
古典概型：又称为等可能概型。1.样本点有限2.每个基本事件出现的概率相同
随机变量：对事件发生的各个结果联系数字进行定义，创造出一个随着结果不同而变化的实值单值函数就是随机变量
分布函数和概率密度：分布函数和分布率体现出随机变量取不同值时的概率，概率密度体现出随机变量取值的密集成程度
统计量：随机变量的函数
抽样分布：统计量的分布即为抽样分布

随机变量的分布

一维随机变量的分布

离散型：

（1）0-1分布 （伯努利试验）

(2) 二项分布（n重伯努利试验） $P(X=k)=\binom{n}{k}p^{k}(1-p)^{n-k}$ ，

相互独立的X~B（n1，p），Y~B（n2，p），X+Y~b（n1+n2），证明见下面附页。

(3) 泊松分布 $P(X=k)=\frac{\lambda ^{k}}{k!}e^{-\lambda }$ $\dpi{100} (\sum_{k=0}^{\infty }\frac{\lambda ^{k}}{k!}=e^{\lambda })$

三者之间的关系，多个0-1分布组合成二项分布随机变量。

当λ=np时（即n很大，p很小）可以将二项分布近似成泊松分布。

$P(X=k)=\frac{\lambda ^{k}}{k!}e^{-\lambda }=\binom{n}{k}p^{k}(1-p)^{n-k}$ 除此之外，在使用这个公式时要注意k不能过大

连续型：

(1)正态分布 概率密度： $f(x)=\frac{1}{\sqrt{2\pi }\sigma}e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}$ ,

$X\sim N(\mu _1,\sigma_1 ),Y\simN(\mu_2,\sigma_2)$ 且相互独立，则 $X+Y~N(\mu _1+\mu_2,\sigma_1^2+\sigma_2^2)$ ,

(2)均匀分布 概率密度： $f(x)=\begin{cases} \frac{1}{b-a}& \text{ } a<x<b \\ 0& \text{ } other \end{cases}$ ，

(3)指数分布 概率密度： $f(x)=\begin{cases} \frac{1}{\theta }e^{-x/\theta } & \text{ } x >0\\ 0& \text{ } other \end{cases}$ 主要用 $\lambda = 1/\theta 代替$

二维随机变量

分布函数： F(x,y)=P(X≤x,Y≤y) 分布律：按P(X=x.Y=y)展开

运算特点与性质:

1.P(a<x<b,c<y<d)=F(b,d)-F(b,c)+F(a,d)-F(a,b)

2.F(-∞,y)=F(x,-∞)=0;F(∞,∞)=1

概率密度： f(x,y)满足 $\bg_white F(x,y)=\int_{-\infty }^{y }\int_{-\infty }^{x }f(x,y)dxdy$

边缘分布： $F_{X}(x)=F(x,\infty)=\int_{-\infty}^{x}\int_{-\infty}^{\infty}f(x,y)dydx,F_{Y}(y)=F(\infty,y)=\int_{-\infty}^{y}\int_{-\infty}^{\infty}f(x,y)dxdy$

边缘概率密度： $f_{X}(x)=\int_{-\infty}^{\infty}f(x,y)dy,f_{Y}(y)=\int_{-\infty}^{\infty}f(x,y)dx$

二维随机变量函数的分布：

(1) Z=X+Y $F(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}f(z-y,y)dydz$ $f(z)=\int_{-\infty}^{\infty}f(z-y,y)dy$

(2) Z=XY $F_{XY}(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}\frac{1}{\left | x \right |}f(x,z/x)dxdz$ $f_{XY}(z)=\int_{-\infty}^{\infty}\frac{1}{\left | x \right |}f(x,z/x)dx$

(3) Z=Y/X $F_{Y/X}(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}\left | x \right |f(x,zx)dxdz$ $f_{Y/X}(z)=\int_{-\infty}^{\infty}\left | x \right |f(x,zx)dx$

(4) Z=MAX{X,Y}与Z=MIN{X,Y} $F_{max}(z)=F_{X}(z)F_{Y}(z),F_{min}(z)=1-[1-F_{X}(z)][1-F_{Y}(z)]$

推导过程描述：(1)(2)(3)在X,Y独立的基础上得到f(x,y),确定积分区域，写出对x,y的积分后用z进行换元得到结果。也可能直接有f(x,y)

(4)主要依靠独立和包含关系推导。

抽样分布

三个常用统计量的分布：

（1）χ²分布 $\chi ^{2}=X_{1}^{2}+X_{2}^{2}+......+X_{n}^{2}$ $X_{i}\sim N(0,1)$

图像： 1

性质：可加性 $\chi _{1}^{2}+\chi_{2}^{2}\sim \chi ^{2}(n_{1}+n_{2})$

（2）t分布 $t=\frac{X}{\sqrt{Y/n}}$ X~N(0,1),Y~χ²(n)

图像:

性质： $t_{\alpha }(n)=t_{1-\alpha }(n)$

（3）F分布 $F=\frac{U/n_{1}}{V/n_{2}}$ $U\sim \chi ^2(n_1)$ $V\sim \chi ^2(n_2)$

图像：

性质： $F(n_1,n_2)=\frac{1}{F(n_2,n_1)}$ 推到可知 $F_{1-\alpha}(n_1,n_2)=\frac{1}{F_{\alpha}(n_2.n_1)}$

一些重要统计量的分布

（1） $\bg_white \overline{X}\sim N(\mu,\sigma ^2/n)$ （2） $\frac{(n-1)S^2}{\sigma^2}\sim \chi ^2(n-1)$ （3） $\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$ （4） $\frac{S_1^2/S_2^2}{\sigma _1^2/\sigma_2^2 }\sim F(n_1-1,n_2-1)$

（5） $\sigma _1^2=\sigma_2^2=\sigma^2,\frac{(\bar{X}-\bar{Y})-(\mu _1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$ 其中 $S_w=\sqrt{\frac{(n_1-1)S_1^2 +(n_2-1)S_2^2}{n_1+n_2-2}}$

数学期望

离散型公式: $E(X)=\sum P_iX_i$

连续性公式 : $E(X)=\int_{-\infty}^{\infty}xf(x)dx$

对于统计量Z=g(x): $E(Z)=\int_{-\infty}^{\infty}g(x)f(x)dx$ Z=g(x,y): $E(Z)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$

矩

k阶原点矩： E(X^k)

k阶中心矩： $E=\left \{ [X-E(X)]^k \right\}$

方差

公式： D(X)=E(X^2)-[E(X)]^2

计算性质：1. D(X+Y)=D(X)+D(Y) +2COV(X,Y) 2. D(aX)=a^2D(X) 3. D(X+a)=D(X)

协方差

协方差公式：1. COV(X,Y)=E(XY)-E(X)E(Y) 2. D(X+Y)=D(X)+D(Y)+2COV(X,Y)

3. $\rho _{xy}=\frac{COV(X,Y)}{\sqrt{D(X)D(Y)}}$

计算性质： 1. COV(X,X)=D(X) 2. COV(X_1+X_2,Y)=COV(X_1,Y)+COV(X_2,Y)

3. COV(aX,bY)=abCOV(X,Y)

常见分布的数学期望与方差：

(1) $X\sim U(a,b)$ $E(X)=\frac{a+b}{2 }$ $D(X)=\frac{(b-a)^2}{12}$ (2) $X\sim N(\mu ,\sigma^2 )$ E(X)=μ $D(X)=\sigma$

(3) $\bg_white X\sim e(\lambda )$ E(X)= $\frac{1}{\lambda }$ $D(X)=\frac{1}{\lambda ^2}$ (4) $X\sim (0-1)$ E(X)=p D(X)=p(1-p)

(5) $X\sim B(n,p)$ E(X)=np D(X)=np(1-p) (6) $X\sim P(\lambda )$ E(X)=λ D(X)=λ

(7) $X\sim \chi ^2$ E(X)=n D(X)=2n

一些重要的定理公式

(1)条件概率公式： $P(A|B)=\frac{P(AB)}{P(B)}$

(2)乘法定理： P(ABC)=P(A|BC)P(B|C)P(C)

(3)全概率公式： P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+......+P(A|B_n)P(B_n)

(4)贝叶斯公式： $P(A|B)=\frac{P(B|A)P(A)}{P(B|A_1)P(A_1)+.....+P(B|A_n)P(A_n)}$

四者关系：

易记错：全概率公式的项是P(A|B)P(B)形式，不是P(A|B)

切比雪夫不等式： $P(| X-\mu |\geq \varepsilon )\leq\frac{\sigma^2}{\varepsilon ^2}$

用处：用于粗略估计随机变量范围概率

(2)大数定律：描述一些随机变量的项的算数平均值收敛到这些项的均值

弱大数定律（辛钦大数定律）： $\bar{X}\overset{p}{\rightarrow}\mu$

伯努利定理： $\frac{f_A}{n}\overset{n\rightarrow \infty }{\rightarrow}p$

中心极限定理：大量随机因素(变量)共同作用下（构成统计量）的分布近似于正态分布

(1)独立同分布的中心极限定理 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$ $(n\rightarrow \infty )$

(2)李雅普诺夫定理（省去同分布，复杂标准化变量） $\frac{\sum X_i-\sum [E(X_i)]}{\sqrt{\sum [D(X_i)]}}\sim N(0,1)$ $(n\rightarrow \infty )$

(3)棣莫弗-拉普拉斯定理（针对二项分布，视为0-1分布之和） $\frac{\sum X_i-np}{\sqrt{np(1-p)}}\sim N(0,1)$ $(n\rightarrow \infty)$

参数估计

：总体之中有未知参数需要通过样本值进行估计

(1)点估计

矩估计：用样本均值估计总体均值解算出相关未知参数，未知参数包含于总体均值中。

常用 $\mu_1=E(X),\mu_2=E(X^2)=D(X)+[E(X)]^2$ 构造矩估计量 $\theta =f[A_1,A_2],A_1,A_2$ 即样本矩，代入样本均值求解矩估计值得参数

最大似然估计：基于θ的取值应使得 $\prod p(x_i,\theta)$ 在θ范围内取得较大值，认为 $\theta=\theta_0$ 使连乘取最大值的估计合理。

为了计算简便，可以对连乘函数进行取对数再求导求出θ的取值。

最大似然估计的不变性：有 $\mu =\mu(\theta)$ ,也有 $\theta=\theta(\mu)$ 时有估计值 $\hat{\theta}$ 使连乘函数取最大值，也有 $\mu=\mu(\hat{\theta})=\hat{\mu}$ 使连乘函数取最大值，就可以说 $\hat{\mu}=\mu(\hat{\theta})$ 是μ的最大似然估计。

(2)区间估计

原理简述：本质依然是通过样本估计未知参数，构造枢轴量(不依赖未知参数确定分布类型的统计量)

，通过取枢轴量的概率区间,例如 $P(| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |\leq z_{\frac{\alpha }{2}} )=1-\alpha$ 结合所要用到的样本涵义是：样本值的算数平均值 $\bar{X}$ 有（1-α）的可能在区间 $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ 内，变换上面式子有 $P(a(\bar{X})\leq \mu\leq b(\bar{X})=1-\alpha$ ,涵义是取得样本的算数平均值构成区间有(1-α)的可能包括μ，即μ有（1-α）的可能在在取得样本的算数平均值构成的区间内，把 $[a(\bar{X}),b(\bar{X})]$ 称为置信区间，1-α称为置信水平。

单正态总体枢轴量：

已知σ，估计 $\mu$ $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ ~N(0,1) 。未知σ，估计 $\mu$ $| \frac{\bar{X}-\mu}{S/\sqrt{n}} |$ ~t(n-1)

实际情况μ未知，估计 $\sigma$ $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ ,μ已知，应可以用 $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ 。

双正态总体枢轴量：

已知 $\sigma_1,\sigma_2$ ,估计 $\mu_1-\mu_2$ →→ $\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}-\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$

未知 $\sigma_1,\sigma_2$ 具体值，但知道 $\sigma_1=\sigma_2=\sigma$ ,估计 $\mu_1-\mu_2$ →→ $\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_w \sqrt{\frac{1}{n_1}-\frac{1}{n_2}}}\sim t(n_1+n_2-2)$ , $S_w=\sqrt{\frac{(n_1-1)S_1^2)+(n_2-1)S_2^2}{n_1+n_2-2}}$

$\mu_1,\mu_2$ 未知，估计 $\frac{\sigma_1^2}{\sigma_2^2}$ →→ $\frac{S_1^2/S_2^2}{\sigma _1^2/\sigma_2^2 }\sim F(n_1-1,n_2-1)$

0-1分布枢轴量：当n足够大时，由中心极限定理近似得 $\frac{\bar{X}-np}{\sqrt{np(1-p)}}\sim N(0,1)$ ， $(n\rightarrow \infty)$

单侧置信区间：书写概率区间不等式时，只列需要的一侧。

假设检验

检验原理：对于 H_0,H_1 ,在假设 H_0 成立的条件下，得到较大的置信水平的置信区间，若样本值使枢轴量落在这个区间内就接受 H_0 ,并称这个区间为接受域，反之，落在这个区间之外，则这个区间之外的区间就是拒绝域。

要注意的是对换原假设和备择假设可能得出接受域有重合，但是只要样本足够大，必定会有一方落在拒绝域一方落在接受域内。

第一类错误：即 H_0 为真而认为其为假的概率α

第二类错误：α越大其越小

检验统计量可以用区间估计枢轴量

双边假设检验, $H_1:\mu\not\neq\mu_0$ 类型；右边检验： $H_1:\mu\geq \mu_0$ 类型；左边检验： $H_1:\mu\leq \mu_0$ .

独立性：

P(AB)=P(A)P(B) $\rightleftharpoons$ A,B相互独立；

F(x,y)=F_X(x)F_Y(y) $\rightleftharpoons$ A,B相互独立；

f(x,y)=f_X(x)f_Y(y) $\rightleftharpoons$ A,B相互独立；

A,B相互独立 $\rightharpoonup$ E(AB)=E(A)E(B);

A,B相互独立 $\rightharpoonup$ $\rho _{ab}=0$ ;

若(A,B)为二维正态分布且 $\rho _{ab}=0\rightleftharpoons$ A,B相互独立。

概率考试一些常见题型：

这种题设计到概率与集合之间的运算：

主要考察条件概率公式，概率独立性公式，概率中集合关系就会有加法公式P(A+B)=P(A)+P(B)-P(AB)和减法公式P(A-B)=P(A)-P(AB),还可能涉及全概率公式： P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+......+P(A|B_n)P(B_n)

贝叶斯公式： $P(A|B)=\frac{P(B|A)P(A)}{P(B|A_1)P(A_1)+.....+P(B|A_n)P(A_n)}$ ，乘法定理： P(ABC)=P(A|BC)P(B|C)P(C) 等

这题主要考察古典概型的求解。在这里需要求解问题就需要对问题的可能性进行划分，那么以不同的方式划分就有不同的求解过程，就有盒子是否不同，球是否不同的看法区别。而我认为主要有以下过程：

1分析问题，确定问题的全部可能，并且用若有限给出个数2仔细辨别基本事件，即代表1的可能是以什么条件出现的（这就是确定盒子，球同不同）3为所求问题以这种认识道德最低划分来计算个数。

当问题的可能是无限多个却又等可能时，称其为几何概型，顾名思义解题的时候一般要结合画的图求解。

求随机变量函数的概率密度：就是将 $P(Y\leq y)$ 转化成 $P(g(X)\leq y)$ 再转化成 $P(X\leq h(y))$ 这样就能把Y的分布函数反应到X的分布函数上，再进行求导就是g(x)的概率密度了。

当碰到Z=g(x,y)时有以下步骤：

1求出（x，y）的概率密度，往往有独立可直接得 f(x,y)=f_X(x)f_Y(y)

2通过Z=g(x,y)<=z画出积分区域进行积分即可

这种题型在考察边际密度条件概率这种基本知识的深入了解应用：

第一问，求 $f_Y(y)=\int_{0}^{\frac{2-y}{2}}1dx$ 而不是 $f_Y(y)=\int_{0}^{1}1dx$ 这是应为x，y相互牵制，要求边际密度则默认y不受x影响，x受y影响，前者就相当于在形式上解除X的牵制。

第二问中条件概率展开后 $P(X\leq 0.5,Y\leq 1)=\int_{0}^{0.5}\int_{0}^{1}1dydx$ 的原因是画出图来发现区域的限制对这个点并无影响。

对于这种题，求COV,D(Z),抑或者是数学期望E(Z)和相关系数 $\rho$ 的都主要考察他们的公式。

从COV来看，1可以将Z=2X-Y代入后再展开到多个COV。2有时求 COV(X,Y)=E(XY)-E(X)E(Y) 3有时则根据相关系数和方差根据公式求

从COV的第2中可能又需要求期望，而有些期望需要根据Z=g(x): $E(Z)=\int_{-\infty}^{\infty}g(x)f(x)dx$ Z=g(x,y): $E(Z)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$ 来求，这就涉及积分运算