概率统计D 05.01 大数定律与中心极限定理

$\color{blue}{第五章 大数定律与中心极限定理}$

$\color{blue}{\S 5.1 大数定律}$

$定义1.设Y_1, Y_2, \cdots, Y_n, \cdots, 为一随机变量 序列,a为一个常数,\\ 如果对于任意正数\varepsilon, 都有 \lim \limits _{n \rightarrow \infty} P\lbrace |Y_n - a | < \varepsilon \rbrace = 1, \\ 则称\lbrace Y_n \rbrace 按概率收敛于a，记作Y_n \overset{P}{\rightarrow } a (n \rightarrow \infty).$

$定理1.(契比雪夫不等式)设E(X) = \mu, D(X) = \sigma^2, 对于任意整数\varepsilon,有\\ P\lbrace |X - \mu| \geq \varepsilon \rbrace \leq \dfrac {\sigma^2}{\varepsilon^2}, \\ 或\\ P\lbrace |X - \mu| < \varepsilon \rbrace \geq 1 - \dfrac{\sigma^2}{\varepsilon^2}.$

$证:只就连续型进行证明,设X的概率密度为f(x),则有\\ P\lbrace |X - \mu| \geq \varepsilon \rbrace = \int \limits _ {|x - \mu| \geq \varepsilon } f(x) dx \leq \int_ {-\infty}^{+\infty} \dfrac{(x - \mu)}{\varepsilon^2} f(x) dx \\ = \dfrac{1}{\varepsilon ^2} \int _{-\infty}^{+\infty} (x - \mu)^2 f(x) dx \\ = \dfrac{\sigma^2}{\varepsilon ^2}$

$定理2.(契比雪夫大数定律的特例)设X_1, X_2, \cdots, X_n, \cdots\\ 相互独立,且具有相同的数学期望E(X_k) = \mu和方差\\ D(X_k) = \sigma^2(k = 1, 2, \cdots), 则对于任意正数\varepsilon, \\ \lim \limits _ {n \rightarrow \infty} \lbrace |\dfrac{1}{n} \sum \limits _ {k=1}^n X_k - \mu | < \varepsilon \rbrace = 1.$
$证:令Y_n = \dfrac{1}{n} \sum \limits _ {k=1} ^ n X_k, \\ 则有E(Y_n) = \mu, D(Y_n) = \dfrac{\sigma^2}{n}, 由定理1有\\ 1 - \dfrac{\sigma^2}{n \varepsilon ^2} \leq P \lbrace | \dfrac{1}{n} \sum \limits _ {k=1}^n X_k - \mu | < \varepsilon \rbrace \leq 1$

$定理2^{\prime}. (契比雪夫定理)设X_1, X_2, \cdots, X_n, \cdots, \\ 相互独立,分别具有数学期望\\ E(X_1), E(X_2), \cdots, E(X_n), \cdots, \\ 及方差 \\ D(X_1), D(X_2), \cdots, D(X_n), \cdots, \\ 并且方差是一致有上界的,即存在正数M,\\ 使得D(X_n) \leq M,n = 1, 2, \cdots, \\ 则对于任意正数\varepsilon,恒有\\ \lim \limits _ {n \rightarrow \infty} P\lbrace |\dfrac{1}{n} \sum \limits _ {k=1} ^ n X_k - \dfrac{1}{n} \sum \limits _ {k=1}^n E(X_k) | < \varepsilon \rbrace = 1$

$定理3.(伯努利定理)设n_A是在n次独立重复试验中\\ 事件A发生的次数,P(A) = p, 则对任意正数\varepsilon,有 \\ \lim \limits _ {n \rightarrow \infty} P \lbrace | \dfrac{n_A}{n} - p| < \varepsilon \rbrace = 1$
$证:n_A \sim B(n, p), E(n_A) = np, D(n_A) = np(1-p) \\ E(\dfrac{n_A}{n}) = p, D(\dfrac{n_A}{n}) = \dfrac{p(1-p)}{n} \\ 由定理1可得\\ 1 - \dfrac{\frac{p(1-p)}{n}}{\varepsilon ^2} \leq P\lbrace |\dfrac{n_A}{n} - p| < \varepsilon \rbrace \leq 1, \\ 于是有 \\ \lim \limits _ {n \rightarrow \infty} P\lbrace |\dfrac{n_A}{n} - p| < \varepsilon \rbrace = 1$

$定理4.(辛钦定理)设X_1, X_2, \cdots, X_n, \cdots, 相互独立,\\ 服从同一分布,期望E(X_k) = \mu存在,\\ 则对与任意正数\varepsilon, 有\\ \lim \limits _ {n \rightarrow \infty} P\lbrace | \dfrac{1}{n} \sum \limits _ {k=1} ^ n X_k - \mu | < \varepsilon \rbrace = 1$
$证明略.此定理说明,\dfrac{1}{n} \sum \limits _ {k=1}^n X_k 按概率收敛于 \mu = E(X_k).\\ 进一步有\dfrac{1}{n}\sum \limits _ {k=1}^n X_k^l按照概率收敛于\mu_l = E(X_k^l) (l = 1, 2, \cdots).\\这是参数估计的理论基础.$

$\color{blue}{\S 5.2 中心极限定理}$

$定义2.设X_1, X_2, \cdots, X_n, \cdots, 的分布函数依次为\\ F_1(x), F_2(x), \cdots, F_n(x), \cdots, \\ X的分布函数为F(x).如果对于F(x)的每个连续点x,\\ 都有\lim \limits _ {n \rightarrow \infty} F_n(x) = F(x), 则称随机变量序列\\ X_1, X_2, \cdots, X_n, \cdots, 依分布收敛于X,\\ 记为X_n \overset{L}{\longrightarrow } X (n \rightarrow \infty)$

$定理5.(独立同分布中心极限定理)设X_1, X_2, \cdots, X_n, \cdots, 相互独立,\\ 服从同一分布,存在期望E(X_k) = \mu 和方差D(X_k) = \sigma^2 \neq 0 (k = 1, 2, \\ \cdots,)则Y_n = \dfrac{\sum \limits _ {k=1} ^ n X_k - n \mu }{\sqrt{n} \sigma} 依分布收敛于标准正态分布N(0, 1), \\ 即对于Y_n的分布函数F_n(x)的连续点x有\\ \lim \limits _ {n \rightarrow \infty} F_n(x) = \int_{-\infty}^ x \dfrac{1}{\sqrt{2 \pi}}e^{-\frac{t^2}{2}} dt = \Phi(x)$

$此定理说明当n很大时，Y_n近似服从N(0, 1),\\ 从而可知当n很大时,\sum \limits _{k=1} ^n X_k = \sqrt{n} \sigma Y_n + n \mu \\ 近似服从N(n \mu, n \sigma^2)$

$定理6(德莫佛-拉普拉斯定理)设随机变量Y_n \sim B(n, p)\\ (n = 1, 2, \cdots), 则对于任意x, 有\\ \lim \limits _ {n \rightarrow \infty} P \lbrace \dfrac{Y_n - np }{\sqrt{np(1 - p)}} \leq x \rbrace = \int _ {-\infty} ^ {x} \dfrac{1}{\sqrt{2 \pi}} e ^ {-\frac{t^2}{2}} dt$
$此定理说明,当n很大时,服从二项分布的随机变量经过\\ 标准化后,近似服从标准正态分布.$

$例1.一射击运动员在一次射击当中所得环数X的概率分布如下:$
$\begin{array}{l | c c }X & 10 & 9 & 8 & 7 & 6 & \\ \hline P & 0.5 & 0.3 & 0.1 & 0.05 & 0.05 & \end{array}$
$问在100次独立射击中所得总环数介于900于930还之间$
$解:设X_k表示第k次射击所得环数,则X_1, X_2, \cdots, X_{100}相互独立, \\ 都于X同分布.\\ \mu = E(X_k) = E(X) = 9.15, \sigma^2 = D(X_k) = D(X) = 1.23. \\ 100次射击所得总环数为\sum \limits _ {k=1} ^ {100} X_k, 根据定理5可知\\ \dfrac{\sum \limits _ {k=1} ^ {100} X_k - 100 \times 9.15 } {\sqrt{100 \times 1.23}} 近似服从N(0, 1), 因此所求概率为\\ P\lbrace 900 < \sum \limits _ {k=1} ^ {100} X_k < 930 \rbrace \\ = P\lbrace \dfrac{900 - 100 \times 9.15 }{\sqrt{100 \times 1.23}} < \dfrac{\sum \limits _ {k=1} ^ {100} X_k - 100 \times 9.15}{\sqrt{100 \times 1.23}} < \dfrac{930 - 100 \times 9.15}{\sqrt{100 \times 1.23}} \rbrace \\ = P\lbrace -1.35 < \dfrac{\sum \limits _ {k=1} ^ {100} X_k - 100 \times 9.15}{\sqrt{100 \times 1.23}} < 1.35 \rbrace \\ \approx \Phi(1.35) - \Phi(-1.35) \\ = 0.8230$

$例2.设某单位设置一部电话总机,共有200架分机,每架分机\\ 有5\%的时间要用外线通话,假设每架分机是否使用外线是相\\ 互独立的.问总机要配置多少条外线,才能以90\%的概率保证\\ 分机要使用外线就能有外线可以使用.$
$解:以X表示200架分机中在同一时刻使用外线的分机数,\\ 则X \sim B(200, 0.05),设所求外线条数为N,由题意N应\\ 满足P\lbrace X < N \rbrace = 0.9.于是 \\ P\lbrace \dfrac{X - 200 \times 0.05}{\sqrt{200 \times 0.05 \times 0.95}} \leq \dfrac{N - 200 \times 0.05}{\sqrt{200 \times 0.05 \times 0.95}} \rbrace = 0.9 \\ 即\\ P\lbrace \dfrac{X - 10}{\sqrt{9.5}} \leq \dfrac{N - 10}{\sqrt{9.5}} \rbrace = 0.9, \\ 由定理6可知\dfrac{X - 200 \times 0.05}{\sqrt{200 \times 0.05 \times 0.95}} = \dfrac{X - 10}{\sqrt{9.5}} \\ 近似服从N(0, 1),因此应有 \\ \Phi(\dfrac{N - 10}{\sqrt{9.5}}) = 0.9 \\ 查表得\dfrac{N-10}{\sqrt{9.5}} = 1.29, N = 13.945, 即取N = 14.$