大数定律和中心极限定理

随机变量的矩

$X$是一个随机变量对于任何正整数$n$, 定义
$$E(X^n)=\int p(x)x^{n}dx$$

• 当$n=1$时, $E(X)$为随机变量的期望
• 当$n=2$时, $E(X^2)-E(X{)}^2$为随机变量的方差
• 特征函数, $E(e^{itX})=\sum {}_{n=0}^{\infty }\frac{E(X^n)}{n!}(it{)}^n$
  矩可以描述随机变量的一些特征, 期望是$X$"中心"位置的一种描述, 反差可以描述$X$的分散程度, 特征函数可以全面描述概率分布

切比雪夫不等式

设$X$为随机变量, 期望值为$\mu$, 标准差为$\sigma$, 对于任何实数$k>0$
$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$
切比雪夫不等式给出反差对$X$分散程度的描述提供了一个定量的估计

随机变量的相关系数

$X,Y$是两个随机变量

• $X,Y$的协方差: $cov(X,V)=E(XY)-E(X)E(Y)$
• $X,Y$的相关系数: $cov(X,V)/\sqrt{(Var(X)Var(Y))}\in [-1,1]$

独立随机变量

$X,Y$是两个随机变量, 如果联合分布$p(x,y)=p(x)p(y)$, 则$X,Y$为独立随机变量

• 独立随机变量相关系数为0
• 相关系数为0, 两个随机变量不见得独立

利用特征函数研究概率分布

如下列举一些特征函数${\varphi }_X(t)=E(e^{itX})$自身的重要性质

• 对于任何$X,{\varphi }_X(t)$都存在
• $\varphi (0)=1$且$|\varphi (t)|\le 1,\forall t$
• $\varphi (t)$是一个连续函数
• $\overline{{\varphi }_X(t)}={\varphi }_{-X}(t)$, 所以如果$X$关于中心对称, 那么${\varphi }_X(t)$就是一个实函数
• 如果$X$的$n$阶矩存在, 那么${\varphi }_X(t)$至少$n$阶可微, 并且$E(X^n)=(-i{)}^n{\varphi }^{(n)}(0)$

---

如下列举一些不同的随机变量的特征函数的重要性质

• 如果$X,Y$是两个独立随机变量, 那么${\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t)$
• 如果${\varphi }_X(t)={\varphi }_Y(t)$, 那么$X,Y$服从同一个分布
• 如果$X_n$是一个随机变量序列, 而且${\varphi }_{X_n}(t)$逐点收敛于一个函数${\varphi }_{\infty }(t)$, 如果${\varphi }_{\infty }$在0处连续, 那么存在一个分布$X_{\infty }(t)$, 是的$X_n$按分布收敛于$X_{\infty }(t)$

特殊分布的特征函数

• 独立分布$p(a)=1,\varphi (t)=e^{iat}$
• 两点分布$p(-1)=p(1)=\frac{1}{2},\varphi (t)=\cos (t)$
• 正太分布, 概率密度函数$f(x)=\frac{1}{\sqrt{2}\pi }{e}^{-\frac{x^2}{2}},\varphi (t)=e^{-\frac{t^2}{2}}$
• 泊松分布$p(n)=e^{-\lambda }\frac{{\lambda }^n}{n!},\varphi (t)=e^{-\lambda (1-e^{it})}$

自然对数底数$e$的定义

• $\underset{n\to \infty }{\lim }(1+1/n{)}^n$存在, 且定义$e=\underset{n\to \infty }{\lim }(1+1/n{)}^n$
• 于是定义$e^x=\underset{n\to \infty }{\lim }(1+x/n{)}^n$

大数定律

$X$是随机变量, $\mu$是$X$的期望, $\sigma$是$X$的方差, { X k } k = 1 ∞ \{X_k\}^\infty_{k=1} {Xk​}k=1∞​是服从$X$的独立同分布随机变量, 那么${\bar{X}}_n=\frac{\sum _{k=1}^n{X}_k}{n}$依概率收敛于$\mu$, 也就是说对于任何$ϵ>0$有
$$\underset{n\to \infty }{\lim }P(|{\bar{X}}_n-\mu |>ϵ)=0$$

中心极限定理

$X$是随机变量, $\varphi (X)$是$X$的特征函数. { X k } k = 1 ∞ \{X_k\}^\infty_{k=1} {Xk​}k=1∞​是服从$X$的独立同分布随机变量, 那么
$$Z_n=\frac{\sqrt{n}}{\sigma }({\bar{X}}_n-\mu )$$
依分布收敛于正太分布$N(0,1)$
也就是说对于任何$ϵ>0$有
$$\underset{n\to \infty }{\lim }P(Z_n<z)=\Phi (z),\forall z$$
其中$\Phi$是标准正太分布的分布函数