概率统计——概率论与数理统计

一、随机变量

1.1 概率
  随机事件$A$发生的可能性度量，称为$A$发生的概率，记为$P(A)$。
  随机试验的每一个可能结果称为样本点，全部样本点的集合称为样本空间。在重复实验中，若满足样本点有限，且每个单位事件发生的可能性均相等，则称该实验的概率模型为古典概型；若样本点是连续可度量的有界区域，且每个单位事件发生的可能性均相等，则称该实验的概率模型为几何概型。
  若事件$A$与$B$之间任意一个事件发生的概率不受另一个事件的影响，则称两事件相互独立。

1.2 一维离散型随机变量
  设$X$是随机变量，$x$是任意实数，则称 F ( x ) = P { X ≤ x } F(x) = P\{X \le x\} F(x)=P{X≤x}为$x$的分布函数。
  若随机变量$X$只取有限个值，则称$X$为离散型随机变量。称 p { X = x i } = p i p\{X = x_i\} = p_i p{X=xi​}=pi​为$X$的概率分布，记为$$X\sim \left(\begin{array}{ccc}{X}_1& ...& X_n\\ p_1& ...& p_n\end{array}\right)$$ 
  若$X$仅取 { 0 , 1 } \{0, 1\} {0,1}且 p { X = 1 } = p p\{X = 1\} = p p{X=1}=p，则称$X$服从于参数为$p$的0-1分布，记$x\sim B(1,p)$。

  若$X$是n重伯努利实验，即在同样的条件下重复地、相互独立地进行的一种随机试验中事件发生的次数，且在每一次实验中事件发生的概率为$p$，则称$X$服从于参数为$(n,p)$的二项分布，记$X\sim B(n,p)$。

  若$X$是伯努利试验中事件首次发生所需要的试验次数，且在每一次实验中事件发生的概率为$p$，则称$X$服从于参数为$p$的几何分布，记$X\sim G(p)$。

  若$X$表示某情况下单位时间中事件发生的频数，平均频数为$\lambda$，那么$X$服从于参数为$\lambda$的泊松分布，记为$X\sim P(\lambda )$，其概率分布为 p { X = k } = λ k / k ! ⋅ e x p { − λ } p\{X = k\} = \lambda^k/k!·exp\{-\lambda\} p{X=k}=λk/k!⋅exp{−λ} 
  若$X$表示在$N$个总样本中存在$M$个正样本，则在取出$n$个样本中正样本的个数，则称$X$服从于参数为$(n,N,M)$的超几何分布，记$X\sim H(n,N,M)$。

1.3 一维连续型随机变量
  设$X$是随机变量，$x$是任意实数， F ( x ) = P { X ≤ x } F(x) = P\{X \le x\} F(x)=P{X≤x}为$x$的分布函数，其可以表示为$$F(x)={\int }_{-\infty }^{x}f(t)dt$$那么，称$X$是连续型随机变量，将$f(x)$称为$X$的概率密度函数。
  考虑$Y=g(X)$，$X$的概率密度为$f_X(x)$，那么$Y$的概率密度为 f Y ( y ) = F Y ( y ) ′ = d ( P { Y ≤ y } ) / d y = d ( P { g ( X ) ≤ y } ) / d y = d ( ∫ g ( x ) ≤ y f X ( x ) d x ) / d y \begin{aligned}f_Y(y) &= F_Y(y)' \\&= d(P\{Y \le y\})/dy \\&= d(P\{g(X) \le y\})/dy \\&= d(\int_{g(x) \le y}f_X(x)dx)/dy \end{aligned} fY​(y)​=FY​(y)′=d(P{Y≤y})/dy=d(P{g(X)≤y})/dy=d(∫g(x)≤y​fX​(x)dx)/dy​

  若$X$的概率密度为$$f(x)=\{\begin{array}{rlrl}& 1/(b-a),& & a<x<b\\ & 0,& & otherwise\end{array}$$则称$X$在区间$(a,b)$上服从均匀分布，记为$X\sim U(a,b)$。

  若$X$的概率密度为 f ( x ) = { λ e x p { − λ x } , x > 0 0 , o t h e r w i s e f(x) = \left\{\begin{aligned} &\lambda exp\{-\lambda x\}, &&x > 0 \\ &0, &&otherwise \\\end{aligned}\right. f(x)={​λexp{−λx},0,​​x>0otherwise​则称$X$服从于参数为$\lambda$的指数分布，记为$X\sim E(\lambda )$。

  若$X$的概率密度为 f ( x ) = 1 / ( ( 2 π ) 1 / 2 σ ) ⋅ e x p { − ( x − μ ) 2 / 2 σ 2 } f(x) = 1/((2\pi)^{1/2}\sigma)·exp\{-(x - \mu)^2/2\sigma^2\} f(x)=1/((2π)1/2σ)⋅exp{−(x−μ)2/2σ2}则称$x$服从于参数为$(\mu ,{\sigma }^2)$的正态分布，记为$X\sim N(\mu ,{\sigma }^2)$。当$\mu =0$，$\sigma =1$时，正态分布$N(0,1)$称为标准正态分布，其概率密度记为 ϕ ( x ) = 1 / ( 2 π ) 1 / 2 ⋅ e x p { − x 2 / 2 } \phi(x) = 1/(2\pi)^{1/2}·exp\{-x^2/2\} ϕ(x)=1/(2π)1/2⋅exp{−x2/2}及其分布函数 Φ ( x ) = 1 / ( 2 π ) 1 / 2 ∫ − ∞ x e x p { − t 2 / 2 } d t \Phi(x) = 1/(2\pi)^{1/2}\int_{-\infty}^xexp\{-t^2/2\}dt Φ(x)=1/(2π)1/2∫−∞x​exp{−t2/2}dt

1.4 联合分布与边缘分布函数
  如果$X_1,...,X_n$是定义在同一个样本空间的n个随机变量，则称$(X_1,...,X_n)$为n维随机变量。当n取2时，记$(X,Y)$是二维随机变量。
  对于任意实数$x$与$y$，称二元函数 F ( x , y ) = P { X ≤ x , Y ≤ y } F(x, y) = P\{X \le x, Y \le y\} F(x,y)=P{X≤x,Y≤y}为二维随机变量$(X,Y)$的联合分布函数，记$(X,Y)\sim F(x,y)$；而随机变量$X$的分布函数$F_X(x)$则称为$(X,Y)$关于$X$的边缘分布函数，且有 F X ( x ) = P { X ≤ x } = F ( x , + ∞ ) F_X(x) = P\{X \le x\} = F(x, +\infty) FX​(x)=P{X≤x}=F(x,+∞)

1.5 二维离散型随机变量
  若随机变量$(X,Y)$只能取有限对值，则称$(X,Y)$为二维离散型随机变量，称 p { X = x i , Y = y j } = p i j p\{X = x_i, Y = y_j\} = p_{ij} p{X=xi​,Y=yj​}=pij​为$(X,Y)$的联合概率分布。
  随机变量$(X,Y)$的联合分布函数为 F ( x , y ) = P { X ≤ x , Y ≤ y } = ∑ x i ≤ x ∑ y j ≤ y p i j \begin{aligned}F(x, y) & = P\{X \le x, Y \le y\} \\ & = \sum_{x_i\le x}\sum_{y_j \le y}p_{ij} \end{aligned} F(x,y)​=P{X≤x,Y≤y}=xi​≤x∑​yj​≤y∑​pij​​$X$的边缘分布函数为 P { X = x i } = ∑ j = 1 m P { X = x i , Y = y j } P\{X = x_i\} = \sum_{j=1}^{m}P\{X = x_i, Y = y_j\} P{X=xi​}=j=1∑m​P{X=xi​,Y=yj​}

1.6 二维连续型随机变量
  若随机变量$(X,Y)$的联合分布函数$F(x,y)$可以表示为$$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$$则称$(X,Y)$为二维连续型随机变量，称$f(u,v)$是$(X,Y)$的联合概率密度。若$F(x,y)$连续，则有$${\partial }^{2}F(x,y)/\partial x\partial y=f(x,y)$$ 
1.7 卷积公式
  设二维连续型随机变量$(X,Y)\sim f(x,y)$，考虑$Z=X+Y$的概率密度为 F Z ( z ) = P { Z ≤ z } F_Z(z) = P\{Z \le z\} FZ​(z)=P{Z≤z}，即 F Z ( z ) = P { X + Y ≤ z } = ∬ x + y ≤ z f ( x , y ) d σ = ∫ R d y ∫ − ∞ z − y f ( x , y ) d x \begin{aligned}F_Z(z) & = P\{X + Y \le z\} \\ & = \iint_{x + y \le z}f(x, y)d\sigma \\& = \int_R dy\int_{-\infty}^{z-y}f(x, y)dx \end{aligned} FZ​(z)​=P{X+Y≤z}=∬x+y≤z​f(x,y)dσ=∫R​dy∫−∞z−y​f(x,y)dx​那么$$\begin{array}{rl}{f}_Z(z)& =d{F}_Z(z)/dz\\ & =d({\int }_{R}dy{\int }_{-\infty }^{z-y}f(x,y)dx)/dz\\ & ={\int }_{R}dy\cdot d({\int }_{-\infty }^{z-y}f(x,y)dx)/dz\\ & ={\int }_{R}f(z-y,y)dy\end{array}$$若$X$与$Y$相互独立，则有$$f_Z(z)={\int }_R{f}_X(x)f_Y(z-x)dx$$称为卷积公式。

1.8 随机变量的数字特征
  数学期望反映了随机变量平均取值的大小，当$X$离散或连续时分别记为$$\begin{gathered} EX=\sum _{i=1}^n{x}_i{p}_i \\ EX={\int }_{R}xf(x)dx \end{gathered}$$ 
  方差度量随机变量和其数学期望之间的偏离程度，记为$$DX=E[(X-EX{)}^2]$$多维随机变量之间不独立，那么使用协方差衡量两个变量的总体误差，形如$$Cov(X,Y)=E[(X-EX)(Y-EY)]$$并记$${\rho }_{xy}=Cov(X,Y)/(DX\cdot DY{)}^{1/2}$$为相关系数，其表征了变量之间线性相关程度。

---

二、大数定律与中心极限定理
  大数定律与中心极限定理对概率与频率，以及相关数字特征的关系做出了一定的阐述。

2.1 切比雪夫不等式
  设随机变量$X$的数学期望与方差存在，则对任意实数$ϵ>0$，恒有$$P(|X-EX|\ge ϵ)\le DX/{ϵ}^2$$其刻画了随机变量的数学期望与方差的关系，即方差越小的随机变量与其数学期望相近的概率越大。

2.2 大数定律
  大数定律描述了随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的性质。直观来讲，在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。

  考虑相互独立的具有相同数学期望的随机变量序列 { X n } \{X_n\} {Xn​}，若随机变量的方差存在且有共同上界，那么随机变量序列服从切比雪夫大数定律，对任意实数$ϵ>0$，恒有 l i m n → + ∞ P { ∣ 1 / n ⋅ ∑ i = 1 n X i − 1 / n ⋅ ∑ i = 1 n E X i ∣ < ϵ } = 1 lim_{n \rightarrow +\infty} P\{|1/n·\sum_{i=1}^nX_i - 1/n·\sum_{i=1}^nEX_i|< \epsilon\} = 1 limn→+∞​P{∣1/n⋅i=1∑n​Xi​−1/n⋅i=1∑n​EXi​∣<ϵ}=1其刻画了任意分布之间随机变量与其数学期望的关系。

  考虑$\mu$是n重伯努利试验中事件发生的次数，事件发生的概率已知为$p$，那么频率与概率服从伯努利大数定律，对任意实数$ϵ>0$，恒有 l i m n → + ∞ P { ∣ μ / n − p ∣ < ϵ } = 1 lim_{n \rightarrow +\infty} P\{|\mu/n - p|< \epsilon\} = 1 limn→+∞​P{∣μ/n−p∣<ϵ}=1其刻画了频率与概率的关系。

  考虑相互独立同分布的随机变量序列 { X n } \{X_n\} {Xn​}，那么随机变量序列服从辛钦大数定律，对任意实数$ϵ>0$，恒有 l i m n → + ∞ P { ∣ 1 / n ⋅ ∑ i = 1 n X i − E X ∣ < ϵ } = 1 lim_{n \rightarrow +\infty} P\{|1/n·\sum_{i=1}^nX_i - EX|< \epsilon\} = 1 limn→+∞​P{∣1/n⋅i=1∑n​Xi​−EX∣<ϵ}=1其刻画了同分布之间随机变量与其数学期望的关系。

2.3 中心极限定理
  中心极限定理，是指讨论随机变量序列部分和分布渐近于正态分布的一类定理，是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。

  假设独立同分布的随机变量序列 { X n } \{X_n\} {Xn​}，对于任意实数$x$，有列维-林德伯格【Lindburg-Levy】定理，形如 l i m n → + ∞ P { ( ∑ i = 1 n X i − n E X ) / ( ( n D X ) 1 / 2 ) ≤ x } = Φ ( x ) lim_{n \rightarrow +\infty} P\{ (\sum_{i=1}^nX_i - nEX)/((nDX)^{1/2}) \le x \} = \Phi(x) limn→+∞​P{(i=1∑n​Xi​−nEX)/((nDX)1/2)≤x}=Φ(x)其刻画了大量独立同分布的随机变量近似服从于正态分布。

  假设$Y\sim B(n,p)$，对于任意实数$x$，有棣莫弗-拉普拉斯【DeMoivre-Laplace】定理，形如 l i m n → + ∞ P { ( Y n − n p ) / ( n p ( 1 − p ) ) 1 / 2 ≤ x } = Φ ( x ) lim_{n \rightarrow +\infty} P\{ (Y_n - np)/(np(1-p))^{1/2} \le x \} = \Phi(x) limn→+∞​P{(Yn​−np)/(np(1−p))1/2≤x}=Φ(x)其刻画了二项分布以正态分布为其极限分布的规律。

---

三、数理统计
  概率论是演绎，从先验知识推出结论。而数理统计是归纳，是从观测中估算后验知识。

3.1 样本数字特征
  在n个独立且与总体$X$具有同分布的随机变量 { X n } \{X_n\} {Xn​}所组成的整体称为来自$X$的简单随机样本，而一次抽样结果的具体数值 { x n } \{x_n\} {xn​}称为样本的观测值。
  设 { X n } \{X_n\} {Xn​}是来自总体$X$的随机简单样本，那么有如下的数字特征：
  -样本均值，$\bar{X}={\sum }_{i=1}^n{X}_i/n$；
  -样本方差，$S^2={\sum }_{i=1}^n(X_i-\bar{X})/(n-1)$；
  -样本矩，$A_k={\sum }_{i=1}^n{X}_i^k/n$；
  -样本中心矩，$B_k={\sum }_{i=1}^n(X_i-\bar{X}{)}^k/n$；

3.2 抽样分布
  若$X_1,...,X_n$独立同分布于标准正态分布，则$$X=\sum _{i=1}^n{X}_i^2$$服从于自由度为$n$的卡方【${\chi }^2$】分布，记$X\sim {\chi }^2(n)$。卡方分布在$n=1$时为正态分布的平方，而在$n\to +\infty$时为正态分布。卡方分布的数字特征为$EX=n,DX=2n$。

  若$X\sim N(0,1)$时，$Y\sim {\chi }^2(n)$，$X$与$Y$相互独立，则称$$t=X/(Y/N{)}^{1/2}$$服从于自由度为$n$的学生氏【Student’s t，t】分布，记$t\sim t(n)$。t分布应用在对呈正态分布的总体的均值进行估计。

  若$X\sim {\chi }^2(n_1)$，$Y\sim {\chi }^2(n_2)$，且$X$与$Y$相互独立，则称$$F=(X/n_1)/(Y/n_2)$$服从于自由度为$(n_1,n_2)的$费歇尔【Fisher，F】分布，记$F\sim F(n_1,n_2)$。

3.3 正态统计分布
  若$X_1,...,X_n$独立同分布于标准正态分布，令$U={\sum }_{i=1}^n{X}_i/n$，那么有$$\begin{gathered} EU=E[X_1+X_2+...+X_n]/n=\mu \\ DU=D[X_1+X_2+...+X_n]/n^2={\sigma }^2/n \end{gathered}$$则样本均值服从于正态分布$\bar{X}\sim N(\mu ,{\sigma }^2/n)$，即$$\frac{\bar{X}-\mu }{\sigma /n^{1/2}}\sim N(0,1)$$再考虑$Y_i=(X_i-\mu )/\sigma$，那么$Y_i\sim N(0,1)$。那么$$\begin{array}{rl}(n-1)S^2/{\sigma }^2& =\sum _{i=1}^n(\frac{X_i-\bar{X}}{\sigma }{)}^2\\ & =\sum _{i=1}^n(\frac{X_i-\mu }{\sigma }{)}^2-n(\frac{\bar{X}-\mu }{\sigma }{)}^2\end{array}$$在此，不做证明地，上式服从于${\chi }^2(n-1)$。

3.3 参数估计
  设总体$X$的分布函数为$F(x;\theta )$，通过样本构造一个合适的统计量$\hat{\theta }(X_1,...,X_n)$作为$\theta$的的估计，称为参数估计。

  矩估计法是一种参数估计方法，其使用样本的矩来估计总体的矩，一般使用一阶矩$EX$与二阶矩$E{X}^2$。令样本的矩与总体的矩相等，可以得到参数的估计值。

  最大似然估计是一种参数估计方法，其使用似然函数$$L(\theta )=\prod p(\theta )$$来计算$\theta$为何值时概率取得最大。通过令$dL(\theta )/d\theta =0$，得到参数的估计值。

  估计量有如下评价标准：
  -若$E[\hat{\theta }]=\theta$，则称该估计值具有无偏性。
  -若在无偏的情况下，$D[{\hat{\theta }}_1]<D[{\hat{\theta }}_2]$，则称${\hat{\theta }}_1$更具有有效性；
  -若任取$ϵ>0$，都有 l i m n → + ∞ P { ∣ θ ^ − θ ∣ < ϵ } = 1 lim_{n \rightarrow +\infty} P\{|\hat\theta - \theta| < \epsilon\} = 1 limn→+∞​P{∣θ^−θ∣<ϵ}=1，则称该估计值具有一致性。

3.4 区间估计
  设总体$X$的数学期望为$\mu$，样本均值为$\bar{X}$，则 p { ∣ X ˉ − μ ∣ < Δ } = 1 − α p\{|\bar{X} - \mu| < \Delta\} = 1 - \alpha p{∣Xˉ−μ∣<Δ}=1−α其中，$\alpha$称为显著性水平。

3.5 假设检验
  已知假设$H_0:\mu ={\mu }_0$，与其备择假设$H_1:\mu \ne {\mu }_0$，则 p { ∣ X ˉ − μ ∣ < Δ } = 1 − α p\{|\bar{X} - \mu| < \Delta\} = 1 - \alpha p{∣Xˉ−μ∣<Δ}=1−α其中，$|\bar{X}-{\mu }_0|\ge \Delta$是小概率事件。若其发生，则称拒绝$H_0$假设。、
  若$H_0$为真，但假设检验法则拒绝，则称为一类错误；若$H_0$不真，但假设检验法则接收，则称为二类错误。