概率统计学习(一) 大数定理

最新推荐文章于 2023-08-29 11:56:36 发布

Rauchy

最新推荐文章于 2023-08-29 11:56:36 发布

阅读量939

点赞数 1

文章标签：概率与统计

本文链接：https://blog.csdn.net/wc13197389627/article/details/92440101

版权

一、备注

最近在学习机器学习，需要用到很多数学知识，加上要准备夏令营，于是找了一份浙大的概率论资料，将其中一些知识总结下来，供日后复习之用。

我感觉概率统计的一个非常大的特点就是用频率估计概率，在统计的过程中还会用到很多采样的方法，比如MCMC采样，拒绝采样等，对于一些难以直接采样的问题，还会用到一些技巧，这里又设计到随机过程的知识。这里我想总结一下关于概率论里面的一些基本的定理，补充一下基础知识。

定义：设 Y_1 、 Y_2 、......、 Y_n 、.....为一个随机变量序列，c为一常数，若对于 $\forall \varepsilon >0,$ 均有：

$\lim_{n\to+\infty} P\{|Y_n-c|\geq \varepsilon\}=0,$

成立，则称随机变量序列 $\{Y_n,n\geq1\}$ 依概率收敛于c，

记为： $Y_n \stackrel{P}\longrightarrow c,$ 当 $n\to +\infty$ .

二、辛钦大数定理

形式比较简单，但是证明很麻烦。

定义： X_1 、 X_2 .... 、 X_n 、....为独立同分布的随机变量，且其期望存在，为 $\mu$ , 那么，

$\frac {1}{n}\sum_{i=1}^{n}X_i \stackrel{P} \longrightarrow \mu$ ,当 $n\longrightarrow +\infty$

三、马尔可夫不等式

定理：对于 $x\geq 0$ , 具有数学期望 E(x) , 那么对于任意 $\varepsilon >0$ , 有

$P(X\geq \epsilon ) \leq {\frac {E(x)} \epsilon }$

证明：

1.对于离散型变量

$E(x) = \sum_{x} xp(x) \geq \sum_{x \geq \epsilon } xp(x) \geq \epsilon \sum_{x \geq \epsilon }p(x) = \epsilon p(x \geq \epsilon )$

2.对于连续型变量

$E(x)=\int_{0}^{+\infty} xp(x) \mathrm{d}x \geq \int_{\epsilon}^{+\infty} xp(x) \mathrm{d}x \geq \epsilon \int_{\epsilon} ^{+\infty} p(x)\mathrm{d}x = \epsilon p(x\geq \epsilon)$

四、切比雪夫定理(不等式)

1.切比雪夫不等式

定义: $P(|X- \mu|\geq \epsilon)\leq \dfrac {\sigma ^2}{\epsilon ^2}$

证明： $P(|X- \mu|\geq \epsilon)=P(|X-\mu|^2 \geq \epsilon^2)$

再利用马尔可夫不等式，得 $P(|X-\mu|^2 \geq \epsilon^2)\leq \dfrac{E(|X-\mu|^2)}{\epsilon^2}=\dfrac {\sigma^2}{\epsilon^2}$

2.切比雪夫大数定理

定义： X_1 、 X_2 、....、 X_n 、.... 为相互独立的随机变量，且具有相同的期望 $\mu$ ,相同的方差 $\sigma^2$ ,

那么 $\frac {1}{n}\sum_{i=1}^{n}X_i \stackrel{P} \longrightarrow \mu$ , 当 $n\to+\infty$ .

证明：记 $Y_n=\frac{1}{n}\sum_{i=1}^{n}X_i$ ,则 $E(Y_n)=\frac{1}{n}\sum_{i=1}^{n}E(X_i)=\mu$ , $D(Y_n)=\frac{1}{n^2}D(\sum_{i=1}^{n}X_i)=\frac{\sigma^2}{n}$ .

对 Y_n 应用切比雪夫不等式，得

$0\leq P\{|Y_n-E(Y_n)|\geq \epsilon\}\leq\frac{D(Y_n)}{\epsilon^2}=\frac{\sigma^2}{n\epsilon^2} \to 0$ ,当 $n\to +\infty$ .

五、中心极限定理（万物归一）

1.独立同分布的中心极限定理(CLT)

定义：设随机变量 X_1 、 X_2 、...., X_n ,....相互独立且同分布， $E(X_i)=\mu$ , $D(X_i)=\sigma^2$ ,则对于充分大的n，有

$\sum_{i=1}^{n}X_i\simN(n\mu,n\sigma^2).$

2.棣莫弗-拉普拉斯中心极限定理

定义：记 n_A 为n重伯努利试验中事件A发生的次数，并记事件A在每次试验中发生的概率为p(0<p<1)

则对于充分大的n有 $n_A\sim N(np,np(1-p))$ .

即对于二项分布 B(n,p) , 当n充分大时，可用正态分布来近似。

Rauchy

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
概率统计学习(一) 大数定理

一、备注最近在学习机器学习，需要用到很多数学知识，加上要准备夏令营，于是找了一份浙大的概率论资料，将其中一些知识总结下来，供日后复习之用。我感觉概率统计的一个非常大的特点就是用频率估计概率，在统计的过程中还会用到很多采样的方法，比如MCMC采样，拒绝采样等，对于一些难以直接采样的问题，还会用到一些技巧，这里又设计到随机过程的知识。这里我想总结一下关于概率论里面的...
复制链接

扫一扫