Day04-概率论与数理统计-随机变量的数字特征与大数定律中心极限定理(DataWhale)

六、数字特征

6.1 期望

6.1.1 离散型

P { X = x k } = P k ， 若 ∑ k = 1 ∞ x k P k P\{X=x_k\}=P_k，若\sum_{k=1}^{\infty}x_kP_k P{X=xk​}=Pk​，若∑k=1∞​xk​Pk​绝对收敛，则随机变量$X$的数学期望$E(X)={\sum }_{k=1}^{\infty }{x}_k{p}_k$

数学期望并不一定都存在，${\sum }_{k=1}^{\infty }{x}_k{P}_k$需要绝对收敛

6.1.2 连续型

随机变量$X$的概率密度函数$f(x)$，若积分$\begin{array}{r}{\int }_{-\infty }^{+\infty }xf(x)dx\end{array}$ 绝对收敛，则$\begin{array}{r}E(X)={\int }_{-\infty }^{+\infty }xf(x)dx\end{array}$

连续型随机变量的数学期望也不一定存在

6.1.3 随机变量函数的期望

$Y=g(X)$（$g$是连续函数）

离散型：$E(Y)=E(g(X))={\sum }_{k=1}^{\infty }g(x_k)P_k$

连续型：$\begin{array}{r}E(Y)=E(g(X))={\int }_{-\infty }^{+\infty }g(x)f(x)dx\end{array}$

6.1.4 二维变量函数的期望

$(X,Y),Z=g(X,Y)$

离散型： $E(Z)={\sum }_i{\sum }_{j}g(x_i,y_j)P_{ij}$

连续型： $\begin{array}{r}E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy\end{array}$

6.1.5 期望的性质

• $C是常数，E(C)=C$
• $E(CX)=CE(X)$
• $E(X+C)=E(X)+C$
• $E(X\pm Y)=E(X)\pm E(Y)$ 【任意情况均成立】
• $E(\sum C_i{X}_i)=\sum [C_{i}E(X_i)]$
• $E(\frac{1}{n}\sum X_i)=\frac{1}{n}\sum E(X_i)$
• $E(kX+b)=kE(X)+b$
• $X,Y$独立，则$E(XY)=E(X)E(Y)$

6.1.6 条件期望

离散型： $E(X|Y=y_i)=\sum x_{i}P(X=x_i|Y=y_i)$

连续型： $\begin{array}{r}E(X|Y=y)={\int }_{-\infty }^{+\infty }xf(x|y)dx\end{array}$

6.2 方差

方差：$D(X)=E(X-EX{)}^2$

​ $D(X)=E{X}^2-(EX{)}^2$ 【日常使用】

标准差：$\sigma (X)=\sqrt{D(X)}$

离散型：$D(X)={\sum }_k(x_k-EX{)}^2{P}_k$

连续型：$\begin{array}{r}D(X)={\int }_{-\infty }^{+\infty }(x-EX{)}^{2}f(x)dx\end{array}$

性质：

• $DC=0$
• $D(X+C)=DX$
• $D(CX)=C^{2}DX$
• $D(kX+b)=k^{2}DX$
• 若X,Y独立，则$D(X\pm Y)=DX+DY$；不独立时$D(X\pm Y)=DX+DY\pm 2Cov(X,Y)$
• $DX=0⟺P(X=EX)=1$

标准化：

$X^{\ast }=\frac{X-EX}{DX}⟹E{X}^{\ast }=0,D{X}^{\ast }=1$

6.3 常见离散型的期望和方差

6.3.1 0-1分布

$P(X=k)=p^k(1-p{)}^{1-k},k=0,1$

$EX=p$

$DX=pq$

$DX=p-p^2=p(1-p)=pq$

6.3.2 二项分布

$P(X=k)=C_n^k{p}^k{q}^{n-k},k=0,1,...$

$EX=np$

$DX=npq$

$$\begin{array}{rl}EX& =\sum _{k=0}^{n}k{C}_n^k{p}^k{q}^{n-k}\\ & =\sum _{k=0}^{n}k\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}\\ & =\sum _{k=1}^n\frac{n!}{(k-1)!(n-k)!}{p}^k{q}^{n-k}\\ & =np\sum _{k=1}^n\frac{(n-1)!}{(k-1)!(n-k)!}{p}^{k-1}{q}^{n-k}\\ & =np\sum _{k-1=0}^{n-1}{C}_{n-1}^{k-1}{p}^{k-1}{q}^{n-k}\\ & =np(p+q{)}^{n-1}\\ & =np\end{array}$$

$E{X}^2=npq+n^2{p}^2$

6.3.3 几何分布

$P(X=k)=(1-p{)}^{k-1}p,k=1,2,...$

$EX=\frac{1}{p}$

$DX=\frac{1-p}{p^2}$

${\sum }_{k=1}^{\infty }k{x}^{k-1}=({\sum }_{k=1}^{\infty }{x}^k{)}^{\prime }=(\frac{x}{1-x}{)}^{\prime }=\frac{1}{(1-x{)}^2}$ $|x|<1$

${\sum }_{k=1}^{\infty }{k}^2{x}^{k-1}=({\sum }_{k=1}^{\infty }k\cdot x^k{)}^{\prime }=(x{\sum }_{k=1}^{\infty }k\cdot x^{k-1}{)}^{\prime }=(\frac{x}{(1-x{)}^2}{)}^{\prime }=\frac{1+x}{(1-x{)}^3}$ $|x|<1$

$EX={\sum }_{k=1}^{\infty }k(1-p{)}^{k-1}p=p\cdot \frac{1}{p^2}=\frac{1}{p}$

$E{X}^2=\frac{2-p}{p^2}$

6.3.4 泊松分布

$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,...$

$EX=\lambda$

$DX=\lambda$

$EX={\sum }_{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda {\sum }_{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }=\lambda {\sum }_{M=0}^{\infty }\frac{{\lambda }^M}{(M)!}{e}^{-\lambda }=\lambda$

$\begin{array}{rl}E{X}^2& =\sum _{k=0}^{\infty }{k}^2\frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ & =\sum _{k=1}^{\infty }k\frac{{\lambda }^k}{(k-1)!}{e}^{-\lambda }\\ & =\sum _{k=1}^{\infty }\frac{(k-1){\lambda }^k}{(k-1)!}{e}^{-\lambda }+\lambda \sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ & =\sum _{k=2}^{\infty }\frac{{\lambda }^k}{(k-2)!}{e}^{-\lambda }+\lambda \\ & ={\lambda }^2\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}{e}^{-\lambda }+\lambda \\ & ={\lambda }^2+\lambda \end{array}$

6.4 常见连续型的期望和方差

6.4.1 均匀分布

$$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& a\le x\le b\\ 0& else\end{array}$$

$EX=\frac{a+b}{2}$

$DX=\frac{(b-a{)}^2}{12}$

$EX={\int }_a^{b}x\cdot \frac{1}{b-a}dx=\frac{a+b}{2}$

$E{X}^2=\frac{b^2+ab+a^2}{3}$

6.4.2 指数分布

$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& else\end{array}$

$EX=\frac{1}{\lambda }$

$DX=\frac{1}{{\lambda }^2}$

分部积分：$\begin{array}{r}\int u(x)v(x{)}^{\prime }dx=uv-\int u^{\prime }(x)v(x)dx\end{array}$

$\begin{array}{rl}EX& ={\int }_0^{+\infty }x\cdot \lambda e^{-\lambda x}dx\\ & =-{\int }_0^{+\infty }xd(e^{-\lambda x})\\ & =-x{e}^{-\lambda x}{|}_0^{+\infty }+{\int }_0^{+\infty }{e}^{-\lambda x}dx\\ & =-x{e}^{-\lambda x}{|}_0^{+\infty }-\frac{1}{\lambda }{e}^{-\lambda x}{|}_0^{+\infty }\\ & =\frac{1}{\lambda }\end{array}$

$\begin{array}{rl}E{X}^2& ={\int }_0^{+\infty }{x}^2\cdot \lambda e^{-\lambda x}dx\\ & =-{\int }_0^{+\infty }{x}^{2}d(e^{-\lambda x})\\ & =-x^2{e}^{-\lambda x}{|}_0^{+\infty }+2{\int }_0^{+\infty }x\cdot e^{-\lambda x}dx\\ & =\frac{2}{{\lambda }^2}\end{array}$

6.4.3 正态分布

$X\sim N(\mu ,{\sigma }^2),Y\sim N(0,1),Y=\frac{X-\mu }{\sigma }$

$EY=0$

$DY=1$

$EX=\mu$

$DX={\sigma }^2$

$EX=E(\mu +\sigma Y)=\sigma EY+\mu =\mu$

$DX=D(\mu +\sigma Y)={\sigma }^{2}DY={\sigma }^2$

总结：
$$\begin{array}{cccc}分布& 定义& EX& DX\\ 0-1& P(X=k)=p^k(1-p{)}^{1-k},k=0,1& p& pq\\ 二项& P(X=k)=C_n^k{p}^k{q}^{n-k},k=0,1,...& np& npq\\ 几何& P(X=k)=(1-p{)}^{k-1}p,k=1,2,...& \frac{1}{p}& \frac{1-p}{p^2}\\ 泊松& P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,...& \lambda & \lambda \\ 均匀& f(x)=\{\begin{array}{ll}\frac{1}{b-a}& a\le x\le b\\ 0& else\end{array}& \frac{a+b}{2}& \frac{(b-a{)}^2}{12}\\ 指数& f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& else\end{array}& \frac{1}{\lambda }& \frac{1}{{\lambda }^2}\\ 正态分布& X\sim N(\mu ,{\sigma }^2)& \mu & {\sigma }^2\end{array}$$

6.5 协方差

$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY$

$Cov(X,Y)=E(XY-XEY-YEX+EXEY)=E(XY)-EXEY-EYEX+EXEY=E(XY)-EXEY$

$D(X\pm Y)=DX+DY\pm 2Cov(X,Y)$

性质：

• $Cov(X,Y)=Cov(Y,X)$
• $Cov(aX,bY)=abCov(X,Y)$
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
• $Cov(C,X)=0$
• $若X,Y独立，则Cov(X,Y)=0$

6.6 相关系数

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$

$X^{\ast }=\frac{X-EX}{\sqrt{DX}},Y^{\ast }=\frac{Y-EY}{\sqrt{DY}}$

$\begin{array}{rl}Cov(X^{\ast },Y^{\ast })& =E(X^{\ast }{Y}^{\ast })-E{X}^{\ast }E{Y}^{\ast }\\ & =E[(\frac{X-EX}{\sqrt{DX}})(\frac{Y-EY}{\sqrt{DY}})]-E(\frac{X-EX}{\sqrt{DX}})E(\frac{Y-EY}{\sqrt{DY}})\\ & =\frac{E[(X-EX)(Y-EY)]}{\sqrt{DX}\sqrt{DY}}\\ & =\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\end{array}$

性质：

• $|\rho |\le 1$

引理： $[E(XY){]}^2\le E{X}^2\cdot E{Y}^2$

$$\begin{array}{rl}g(t)& =E(tX-Y{)}^2\\ & =E(t^2{X}^2-2tXY+Y^2)\\ & =t^{2}E{X}^2-2tEXY+E{Y}^2\ge 0\end{array}$$

$则，\Delta =(EXY{)}^2-4E{X}^{2}E{Y}^2\le 0⟹[E(XY){]}^2\le E{X}^{2}E{Y}^2$

$X_1=X-EX,Y_1=Y-EY。则，DX=E{X}_1^2,DY=E{Y}_1^2$

${\rho }^2=\frac{(E[(X-EX)(Y-EY)]{)}^2}{DXDY}=\frac{(E{X}_1{Y}_1{)}^2}{E{X}_1^{2}E{Y}_1^2}\le 1$

• $|\rho |=1⟺X与Y以P=1成线性关系，P(Y=aX+b)=1$
  • $\rho =1$，完全正相关
  • $\rho =-1$，完全负相关
• $|\rho |$接近0：$X,Y$的相关性弱；$\rho =0$：$X,Y$不存在线性关系

独立一定不相关，不相关不一定独立【相关是指线性相关；独立是指既没有线性关系，也没有非线性关系】

二维正态分布(X,Y)的独立与相关是一致的

6.7 原点矩与中心距

原点矩： $E{X}^k$【$E(X-0{)}^k$，期望$EX$是一阶原点矩】

• 离散型：$\sum x_i^k{p}_i$
• 连续型：$\begin{array}{r}{\int }_{-\infty }^{+\infty }{x}^{k}f(x)dx\end{array}$

中心距：$E(X-EX{)}^k$【以$EX$为中心】

• 一阶中心距：$E(X-EX)=0$

• 二阶中心矩：$E(X-EX{)}^2$【方差】

• 离散型：$\sum (x_i-EX{)}^k{p}_i$

• 连续型：$\begin{array}{r}{\int }_{-\infty }^{+\infty }(x-EX{)}^{k}f(x)dx\end{array}$

七、大数定律及中心极限定理

7.1 大数定理

7.1.1 切比雪夫不等式

大量重复试验的平均结果的稳定性

$EX$和$DX$存在，对$\forall \epsilon >0$，$P(|X-EX|\ge \epsilon )\le \frac{DX}{{\epsilon }^2}$【$P(|X-EX|<\epsilon )\ge 1-\frac{DX}{{\epsilon }^2}$】【落在期望以外的区域的概率较小】

$$\begin{array}{rl}P(|X-EX|\ge \epsilon )& ={\int }_{|X-EX|\ge \epsilon }f(x)dx\\ & \le {\int }_{|X-EX|\ge \epsilon }\frac{(X-EX{)}^2}{{\epsilon }^2}f(x)dx【f(x)\ge 0所以扩充区域后不等号成立】\\ & \le {\int }_{-\infty }^{+\infty }\frac{(X-EX{)}^2}{{\epsilon }^2}f(x)dx=\frac{1}{{\epsilon }^2}{\int }_{-\infty }^{+\infty }(X-EX{)}^{2}f(x)dx=\frac{DX}{{\epsilon }^2}\end{array}$$

$DX方差越小，波动越小，落在外面的概率越小；DX方差越大，波动越大，落在外面的概率越大$

$\epsilon 越大，落在外面的概率越小，\epsilon 越小，落在外面的概率越大$

7.1.2 伯努利大数定律

n 次 独 立 重 复 试 验 ， A 发 生 m n 次 ， 概 率 p ， 频 率 m n n ， 则 ： l i m n → + ∞ P { ∣ m n n − p ∣ < ε } = 1 ， l i m n → + ∞ P { ∣ m n n − p ∣ ≥ ε } = 0 n次独立重复试验，A发生m_n次，概率p，频率\frac{m_n}{n}，则：lim_{n\rightarrow{+\infty}}P\{|\frac{m_n}{n}-p|<\varepsilon\}=1，lim_{n\rightarrow{+\infty}}P\{|\frac{m_n}{n}-p|\geq\varepsilon\}=0 n次独立重复试验，A发生mn​次，概率p，频率nmn​​，则：limn→+∞​P{∣nmn​​−p∣<ε}=1，limn→+∞​P{∣nmn​​−p∣≥ε}=0

【n趋于无穷时，频率是以概率收敛于它的概率】

∀ ε > 0 , ∃ N > 0 , n > N 时 ， P { ∣ x n − a ∣ < ε } = 1 ⟹ l i m n → + ∞ P { ∣ x n − a ∣ < ε } = 1 \forall \varepsilon>0,\exist N>0,n>N时，P\{|x_n-a|<\varepsilon\}=1\Longrightarrow lim_{n\rightarrow{+\infty}}P\{|x_n-a|<\varepsilon\}=1 ∀ε>0,∃N>0,n>N时，P{∣xn​−a∣<ε}=1⟹limn→+∞​P{∣xn​−a∣<ε}=1

7.1.3 切比雪夫大数定律

X 1 , X 2 , . . . , X n , . . . 不 相 关 ， E X i 和 D X i 都 存 在 ， 方 差 是 有 界 的 D X i ≤ M , ∀ ε > 0 ⟹ l i m n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E X i ∣ < ε } = 1 X_1,X_2,...,X_n,...不相关，EX_i和DX_i都存在，方差是有界的DX_i\leq M,\forall \varepsilon>0 \Longrightarrow lim_{n\rightarrow{+\infty}}P\{|\frac{1}{n}\sum_{i=1}^n X_i-\frac{1}{n}\sum_{i=1}^n EX_i|<\varepsilon\}=1 X1​,X2​,...,Xn​,...不相关，EXi​和DXi​都存在，方差是有界的DXi​≤M,∀ε>0⟹limn→+∞​P{∣n1​∑i=1n​Xi​−n1​∑i=1n​EXi​∣<ε}=1

推论：

X 1 , X 2 , . . . , X n , . . . 独 立 同 分 布 ， E X i = μ , D X i = σ 2 , ∀ ε > 0 , ⟹ l i m n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1 X_1,X_2,...,X_n,...独立同分布，EX_i=\mu,DX_i=\sigma^2,\forall \varepsilon>0,\Longrightarrow lim_{n\rightarrow{+\infty}}P\{|\frac{1}{n}\sum_{i=1}^n X_i-\mu|<\varepsilon\}=1 X1​,X2​,...,Xn​,...独立同分布，EXi​=μ,DXi​=σ2,∀ε>0,⟹limn→+∞​P{∣n1​∑i=1n​Xi​−μ∣<ε}=1

$X_1,X_2,...,X_n,...相互独立，服从同一分布X_i=\{\begin{array}{ll}1& 发生\\ 0& 未发生\end{array}且E{X}_i=P,D{X}_i=P(1-P),m_n={\sum }_{i=1}^n{X}_i,\frac{m_n}{n}=\frac{1}{n}{\sum }_{i=1}^n{X}_i,$

$则：P=E(\frac{1}{n}{\sum }_{i=1}^n{X}_i)=\frac{1}{n}{\sum }_{i=1}^{n}E{X}_i$

7.1.4 辛钦大数定理

X 1 , X 2 , . . . , X n , . . . 独 立 同 分 布 ， E X i = μ , ∀ ε > 0 , ⟹ l i m n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1 X_1,X_2,...,X_n,...独立同分布，EX_i=\mu,\forall \varepsilon>0,\Longrightarrow lim_{n\rightarrow{+\infty}}P\{|\frac{1}{n}\sum_{i=1}^n X_i-\mu|<\varepsilon\}=1 X1​,X2​,...,Xn​,...独立同分布，EXi​=μ,∀ε>0,⟹limn→+∞​P{∣n1​∑i=1n​Xi​−μ∣<ε}=1 【方差无要求】

平均值收敛于期望

7.2 中心极限定理

大量独立同分布的变量和的极限分布是正态分布

定理：$X_1,X_2,...,X_n,...独立同分布，E{X}_i=\mu ,D{X}_i={\sigma }^2(0<{\sigma }^2<+\infty )$

则随机变量之和$Y={\sum }_{k=1}^n{X}_i$的标准化变量：

$Y_n=\frac{{\sum }_{k=1}^n{X}_i-E({\sum }_{k=1}^n{X}_i)}{\sqrt{D({\sum }_{k=1}^n{X}_i)}}=\frac{{\sum }_{k=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$ l i m n → + ∞ F n ( x ) = l i m n → + ∞ P { ∑ k = 1 n X i − n μ n σ ≤ x } = Φ 0 ( x ) lim_{n\rightarrow{+\infty}}F_n(x)=lim_{n\rightarrow{+\infty}}P\{\frac{\sum_{k=1}^nX_i-n\mu}{\sqrt{n}\sigma}\leq x\}=\Phi_0(x) limn→+∞​Fn​(x)=limn→+∞​P{n ​σ∑k=1n​Xi​−nμ​≤x}=Φ0​(x)

$⟹$ $Y\sim N(n\mu ,n{\sigma }^2)$ $⟹$ $\overline{Y}\sim N(\mu ,\frac{{\sigma }^2}{n})$

拉普拉斯定理：

随 机 变 量 Y n 服 从 二 项 分 布 B ( n , p ) , 则 ： l i m n → + ∞ P { Y n − n p n p q ≤ x } = Φ 0 ( x ) 随机变量Y_n服从二项分布B(n,p),则：lim_{n\rightarrow{+\infty}}P\{\frac{Y_n-np}{\sqrt{npq}} \leq x\}=\Phi_0(x) 随机变量Yn​服从二项分布B(n,p),则：limn→+∞​P{npq ​Yn​−np​≤x}=Φ0​(x)

二项分布近似：$\{\begin{array}{ll}泊松分布& n大，np适中\\ 正态分布& n大，np大\end{array}$