宋浩概率论与数理统计笔记——第五章

5.1 大数定律

大量重复试验的平均结果的稳定性

5.1.1 切比雪夫不等式

定理：$EX和DX都存在，\forall ϵ>0,P(|x-EX|\ge ϵ)\le \frac{DX}{{ϵ}^2}$

变式：$P(|x-EX|<ϵ)\ge 1-\frac{DX}{{ϵ}^2}$

证：

$$\begin{gathered} X连续：(x-EX{)}^2\ge {ϵ}^2 \\ 左边={\int }_{|x-EX|\ge ϵ}f(x)dx\le {\int }_{|x-EX|\ge ϵ}\frac{(x-EX{)}^2}{{ϵ}^2}f(x)dx\le {\int }_{-\infty }^{+\infty }\frac{(x-EX{)}^2}{{ϵ}^2}f(x)dx \\ =\frac{1}{{ϵ}^2}{\int }_{-\infty }^{+\infty }(x-EX{)}^{2}f(x)dx=\frac{DX}{{ϵ}^2} \end{gathered}$$

$$\begin{gathered} \frac{DX}{{ϵ}^2} \\ DX越小，波动越小，落在外面的概率越小；DX越大，波动越大，落在外面的概率越大 \\ ϵ越大，落在外面的概率越小；ϵ越小，落在外面的概率越大 \end{gathered}$$

例：人血液中白细胞平均7300，标准差：700,求血液中白细胞含量5200~9400之间的概率

$$\begin{gathered} EX=7300,DX=490000 \\ 7300-5600=9400-7300=2100,ϵ=2100 \\ P(|x-7300|\le 2100)\ge 1-\frac{490000}{2100^2} \end{gathered}$$

例： E X = μ , D X = σ 2 > 0 , P { x − μ ∣ ≥ 3 σ } EX=\mu,DX=\sigma^2>0,P\{x-\mu|\geq3\sigma\} EX=μ,DX=σ2>0,P{x−μ∣≥3σ}

P { ∣ x − μ ∣ ≥ 3 σ } ≤ D X ϵ 2 = σ 2 9 σ 2 = 1 9 P\{|x-\mu|\geq3\sigma\}\leq\frac{DX}{\epsilon^2}=\frac{\sigma^2}{9\sigma^2}=\frac{1}{9} P{∣x−μ∣≥3σ}≤ϵ2DX​=9σ2σ2​=91​

例 如 ： X ∼ N ( μ , σ 2 ) P { ∣ x − μ ∣ ≥ 3 σ } = 1 − P { ∣ x − μ ∣ < 3 σ } = 1 − P { − 3 σ < x − μ < 3 σ } = 1 − P { − 3 < x − μ σ < 3 } = 1 − ( Φ 0 ( 3 ) − Φ 0 ( − 3 ) ) = 1 − ( Φ 0 ( 3 ) − 1 + Φ 0 ( 3 ) ) = 2 − 2 Φ 0 ( 3 ) ≈ 0.0027 例如：X\sim N(\mu,\sigma^2)\\P\{|x-\mu|\geq3\sigma\}\\=1-P\{|x-\mu|<3\sigma\}\\=1-P\{-3\sigma<x-\mu<3\sigma\}\\=1-P\{-3<\frac{x-\mu}{\sigma}<3\}\\=1-(\Phi_0(3)-\Phi_0(-3))\\=1-(\Phi_0(3)-1+\Phi_0(3))\\=2-2\Phi_0(3)\\\approx0.0027 例如：X∼N(μ,σ2)P{∣x−μ∣≥3σ}=1−P{∣x−μ∣<3σ}=1−P{−3σ<x−μ<3σ}=1−P{−3<σx−μ​<3}=1−(Φ0​(3)−Φ0​(−3))=1−(Φ0​(3)−1+Φ0​(3))=2−2Φ0​(3)≈0.0027

5.1.2 切比雪夫大数定律

收敛：$$\begin{gathered} a_n\to a,\forall ϵ>0,\exists N>0,n>N时|a_n-a|<ϵ \\ 存在某一项，这项后面的全部项，落在区域内 \end{gathered}$$

依概率收敛：$\forall \epsilon>0,\exist N>0,n>N时，P{|x_n-a|<\epsilon}=1,\lim_{n\rightarrow\infty} P{|x_n-a|<\epsilon}=1 $

定理（伯努利大数定律）

n 重 伯 努 利 实 验 ， A 发 生 了 m n 次 , 概 率 为 P ， 频 率 为 m n n , lim ⁡ n → ∞ P { ∣ m n n − a ∣ < ϵ } = 1 lim ⁡ n → ∞ P { ∣ m n n − a ∣ ≥ ϵ } = 0 n重伯努利实验，A发生了m_n次,概率为P，频率为\frac{m_n}{n},\lim_{n\rightarrow\infty} P\{|\frac{m_n}{n}-a|<\epsilon\}=1\\\lim_{n\rightarrow\infty} P\{|\frac{m_n}{n}-a|\geq\epsilon\}=0 n重伯努利实验，A发生了mn​次,概率为P，频率为nmn​​,limn→∞​P{∣nmn​​−a∣<ϵ}=1limn→∞​P{∣nmn​​−a∣≥ϵ}=0

证： m n ∼ B ( n , p ) E m n = n p , D m n = n p ( 1 − p ) E ( m n n ) = n p n = p , D ( m n n ) = 1 n 2 D ( m n ) = p ( 1 − p ) n ∀ ϵ > 0 , 1 ≥ P { ∣ m n n − p ∣ < ϵ } ≥ 1 − D ( m n n ) ϵ 2 = 1 − p ( 1 − p ) n ϵ 2 → 1 ( n → ∞ ) 夹 逼 定 理 得 P { ∣ m n n − p ∣ < ϵ } = 1 m_n\sim B(n,p)Em_n=np,Dm_n=np(1-p)\\E(\frac{m_n}{n})=\frac{np}{n}=p,D(\frac{m_n}{n})=\frac{1}{n^2}D(m_n)=\frac{p(1-p)}{n}\\\forall\epsilon>0,1\geq P\{|\frac{m_n}{n}-p|<\epsilon\}\geq1-\frac{D(\frac{m_n}{n})}{\epsilon^2}=1-\frac{p(1-p)}{n\epsilon^2}\rightarrow 1(n\rightarrow\infty)\\夹逼定理得\\P\{|\frac{m_n}{n}-p|<\epsilon\}=1 mn​∼B(n,p)Emn​=np,Dmn​=np(1−p)E(nmn​​)=nnp​=p,D(nmn​​)=n21​D(mn​)=np(1−p)​∀ϵ>0,1≥P{∣nmn​​−p∣<ϵ}≥1−ϵ2D(nmn​​)​=1−nϵ2p(1−p)​→1(n→∞)夹逼定理得P{∣nmn​​−p∣<ϵ}=1

$X_1,...,X_n相互独立且服从同一个分布（独立同分布）$

X i = { 1 发 生 0 不 发 生 E X i = p , D X i = p ( 1 − p ) , m n = Σ i = 1 n X i , m n n = 1 n Σ i = 1 n X i p = E ( 1 n Σ X i ) = 1 n Σ E X i , lim ⁡ n → ∞ P { ∣ m n n − p ∣ < ϵ } = lim ⁡ n → ∞ P { ∣ 1 n Σ i = 1 n X i − 1 n Σ E X i ∣ < ϵ } = 1 X_i = \left\{ \begin{array}{rcl} 1 & 发生 \\ 0 & 不发生 \end{array}\right.EX_i=p,DX_i=p(1-p),\\m_n=\Sigma_{i=1}^{n}X_i,\frac{m_n}{n}=\frac{1}{n}\Sigma_{i=1}^{n}X_i\\p=E(\frac{1}{n}\Sigma X_i)=\frac{1}{n}\Sigma EX_i,\\\lim_{n\rightarrow \infty}P\{|\frac{m_n}{n}-p|<\epsilon\}\\=\lim_{n\rightarrow \infty}P\{|\frac{1}{n}\Sigma_{i=1}^{n}X_i-\frac{1}{n}\Sigma EX_i|<\epsilon\}=1 Xi​={10​发生不发生​EXi​=p,DXi​=p(1−p),mn​=Σi=1n​Xi​,nmn​​=n1​Σi=1n​Xi​p=E(n1​ΣXi​)=n1​ΣEXi​,limn→∞​P{∣nmn​​−p∣<ϵ}=limn→∞​P{∣n1​Σi=1n​Xi​−n1​ΣEXi​∣<ϵ}=1

定理：切比雪夫大数定律 X 1 , . . , X n , . . . 是 不 相 关 的 变 量 , E X i 和 D X i 都 存 在 ， 方 差 有 界 ， D X i ≤ M , ∀ ϵ > 0 lim ⁡ n → ∞ P { ∣ 1 n Σ i = 1 n X i − 1 n Σ E X i ∣ < ϵ } = 1 这 些 变 量 的 均 值 收 敛 于 期 望 的 均 值 X_1,..,X_n,...是不相关的变量,EX_i和DX_i都存在，方差有界，DX_i\leq M,\forall \epsilon>0\\\lim_{n\rightarrow \infty}P\{|\frac{1}{n}\Sigma_{i=1}^{n}X_i-\frac{1}{n}\Sigma EX_i|<\epsilon\}=1\\这些变量的均值收敛于期望的均值 X1​,..,Xn​,...是不相关的变量,EXi​和DXi​都存在，方差有界，DXi​≤M,∀ϵ>0limn→∞​P{∣n1​Σi=1n​Xi​−n1​ΣEXi​∣<ϵ}=1这些变量的均值收敛于期望的均值

证：

E ( 1 n Σ i = 1 n X i ) = 1 n Σ i = 1 n E X i ∵ X 1 , . . . , X n 不 相 关 ∴ C o v ( X i , X j ) = 0 又 ∵ D ( X + Y ) = D X + D Y + C o v ( X , Y ) ∴ D ( 1 n Σ i = 1 n X i ) = 1 n 2 Σ i = 1 n D X i ≤ n M n 2 = M n 1 ≥ P { ∣ 1 n Σ i = 1 n X i − 1 n Σ i = 1 n E X i ∣ < ϵ } ≥ 1 − D ( 1 n Σ i = 1 n X i ) ϵ 2 = 1 − M n ϵ 2 → 1 夹 逼 定 理 得 P { ∣ 1 n Σ i = 1 n X i − 1 n Σ i = 1 n E X i ∣ < ϵ } = 1 E(\frac1n\Sigma_{i=1}^{n}X_i)=\frac1n\Sigma_{i=1}^{n}EX_i\\\because X_1,...,X_n不相关\therefore Cov(X_i,X_j)=0\\又\because D(X+Y)=DX+DY+Cov(X,Y)\\\therefore D(\frac1n\Sigma_{i=1}^{n}X_i)=\frac1{n^2}\Sigma_{i=1}^{n}DX_i\leq\frac{nM}{n^2}=\frac{M}{n}\\1\geq P\{|\frac1n\Sigma_{i=1}^{n}X_i-\frac1n\Sigma_{i=1}^{n}EX_i|<\epsilon\}\geq1-\frac{D(\frac1n\Sigma_{i=1}^{n}X_i)}{\epsilon^2}=1-\frac{M}{n\epsilon^2}\rightarrow 1\\夹逼定理得\\P\{|\frac1n\Sigma_{i=1}^{n}X_i-\frac1n\Sigma_{i=1}^{n}EX_i|<\epsilon\}=1 E(n1​Σi=1n​Xi​)=n1​Σi=1n​EXi​∵X1​,...,Xn​不相关∴Cov(Xi​,Xj​)=0又∵D(X+Y)=DX+DY+Cov(X,Y)∴D(n1​Σi=1n​Xi​)=n21​Σi=1n​DXi​≤n2nM​=nM​1≥P{∣n1​Σi=1n​Xi​−n1​Σi=1n​EXi​∣<ϵ}≥1−ϵ2D(n1​Σi=1n​Xi​)​=1−nϵ2M​→1夹逼定理得P{∣n1​Σi=1n​Xi​−n1​Σi=1n​EXi​∣<ϵ}=1

推论： X 1 , . . . , X n 服 从 独 立 同 分 布 , E X i = μ , D X i = σ 2 , ϵ > 0 lim ⁡ n → ∞ P { ∣ 1 n Σ i = 1 n X i − μ ∣ < ϵ } = 1 X_1,...,X_n服从独立同分布,EX_i=\mu,DX_i=\sigma^2,\epsilon>0\\\lim_{n\rightarrow\infty}P\{|\frac{1}{n}\Sigma_{i=1}^{n}X_i-\mu|<\epsilon\}=1 X1​,...,Xn​服从独立同分布,EXi​=μ,DXi​=σ2,ϵ>0limn→∞​P{∣n1​Σi=1n​Xi​−μ∣<ϵ}=1

定理：辛钦大数定律

X 1 , . . . , X n 服 从 独 立 同 分 布 , E X i = μ , 方 差 无 要 求 lim ⁡ n → ∞ P { ∣ 1 n Σ i = 1 n X i − μ ∣ < ϵ } = 1 X_1,...,X_n服从独立同分布,EX_i=\mu,方差无要求\\\lim_{n\rightarrow\infty}P\{|\frac{1}{n}\Sigma_{i=1}^{n}X_i-\mu|<\epsilon\}=1 X1​,...,Xn​服从独立同分布,EXi​=μ,方差无要求limn→∞​P{∣n1​Σi=1n​Xi​−μ∣<ϵ}=1

$举个🌰子：测量长度\{\begin{array}{rc}真实的长度& 期望\\ 多次测量取平均值向期望逼近\uparrow & \end{array}$

5.2 中心极限定理

现象由大量相互独立的因素影响

大量独立同分布的随机变量之和的极限分布是正态分布

定理：$x_1,...,x_n$独立同分布，$E{X}_i=\mu ,D{X}_i={\sigma }^2,0<{\sigma }^2<+\infty$

${\lim }_{n\to \infty }P(\frac{{\sum }_{i=1}^n{x}_i-n\mu }{\sqrt{n}\sigma }\le x)={\Phi }_0(x)$

$$\begin{gathered} Y={\sum }_{i=1}^n{x}_i,EY=E{\sum }_{i=1}^n{x}_i=n\mu \\ DY=D({\sum }_{i=1}^n{x}_i)={\sum }_{i=1}^{n}D{X}_i=n{\sigma }^2 \end{gathered}$$

$$\begin{gathered} \frac{\sum x_i-n\mu }{\sqrt{n}\sigma }N(0,1) \\ {\sum }_{i=1}^n{x}_{i}N(n\mu ,n{\sigma }^2) \end{gathered}$$

例：

商店每天接待100名顾客，[0,60]均匀分布，独立，日销售额超过3500元的概率

$$\begin{gathered} x_i是第i人,E{X}_i=30,D{X}_i=60^2/12=300,{\sum }_{i=1}^{100}{X}_i>3500,\frac{\sum X_i-3000}{100\sqrt{3}}\sim N(0,1) \\ P({\sum }_{i=1}^{100}{x}_i>3500)=1-P(\sum X_i\le 3500)=11-P(\frac{\sum X_i-3000}{100\sqrt{3}}\le \frac{3500-3000}{100\sqrt{3}}) \\ =1-{\Phi }_0(2.887)=0.002 \end{gathered}$$

例：

X	10	9	8
P	0.5	0.3	0.2

$EX=10\ast 0.5+9\ast 0.3+8\ast 0.2=9.3$

$E{X}^2=100\ast 0.5+81\ast 0.3+64\ast 0.2=$

$DX=E{X}^2-(EX{)}^2=0.61$

射击100次环数在915~945之间的概率

$\frac{\sum X_i-930}{\sqrt{61}}\sim N(0,1)$

$$\begin{gathered} P(915\le \sum X_i\le 945)=P(\frac{915-930}{\sqrt{61}}\le \frac{\sum X_i-930}{\sqrt{61}}\le \frac{945-930}{\sqrt{61}}) \\ =P(-1.92\le \frac{\sum X_i-930}{\sqrt{61}}\le 1.92) \\ ={\Phi }_0(1.92)-{\Phi }_0(-1.92) \\ ={\Phi }_0(1.92)-(1-{\Phi }_0(1.92)) \end{gathered}$$

定理：$$\begin{gathered} Y_n为参数为n,p的二项分布, \\ 有n趋于{\lim }_{n\to \infty }P(\frac{Y_n-np}{\sqrt{np(1-p)}}\le x)={\Phi }_0(x) \\ {Y}_n={\sum }_{i=1}^n{X}_i,X_i=\{\begin{array}{rc}1& 发生\\ 0& 未发生\end{array},E{X}_i=p,D{X}_i=p(1-p) \end{gathered}$$

$二项分布{⟶}^{近似}正态分布$

例：每人死亡的概率0.005，有10000人保险，死亡人数不超过70人的概率

X为死亡人数

$$\begin{gathered} P(X\le 70)={\sum }_{k=0}^{70}{C}_{10000}^{k}0.005^{k}0.995^{10000-k} \\ P(X\le 70)=P(\frac{x-np}{\sqrt{np(1-p)}}\le \frac{70-np}{np(1-p)})={\Phi }_0(2.84)=0.9977 \end{gathered}$$

$$\begin{gathered} P(X=k)=P(k-\frac{1}{2}<x<k+\frac{1}{2})=P(\frac{k-\frac{1}{2}-np}{\sqrt{np(1-np)}}<\frac{x-np}{\sqrt{np(1-np)}}<\frac{k+\frac{1}{2}-np}{\sqrt{np(1-np)}}) \\ ={\Phi }_0(\frac{k+\frac{1}{2}-np}{\sqrt{np(1-np)}})-{\Phi }_0(\frac{k-\frac{1}{2}-np}{\sqrt{np(1-np)}}) \end{gathered}$$

例：每个子弹击中飞机的概率为0.01，有500发子弹，3发击中飞机的概率

$P(X=5)=P(4.5<X<5.5)=P(\frac{4.5-5}{\sqrt{500\times 0.01\times 0.99}}<X<\frac{5.5-5}{\sqrt{500\times 0.01\times 0.99}})=0.178$

$二项分布——近似\{\begin{array}{rc}泊松分布& n大,np适中\\ 正态分布& n大,np大\end{array}$