概率统计复习——样本与抽样分布

概率统计复习——样本与抽样分布

总结自浙江大学盛骤老师等人的《概率论与数理统计》第四版

一、样本定义

定义，设 $X$ 是具有分布函数 $F$ 的随机变量，若 $X_1,X_2,\cdots ,X_n$ 是具有同一分布函数 $F$ 的、相互独立的随机变量，则称 $X_1,X_2,\cdots ,X_n$ 为从分布函数 $F$ 得到的容量为 $n$ 的简单随机样本，简称样本，它们的观察值 $x_1,x_2,\cdots ,x_n$ 称为样本值，又称为 $X$ 的 $n$ 个独立的观察值。

由于 $X_i$ 之间相互独立，因此 $(X_1,X_2,\cdots ,X_n)$ 的分布函数和概率密度函数分别为
$$\begin{gathered} F^{\ast }(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}F(x_i) \\ {f}^{\ast }(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i) \end{gathered}$$

二、抽样分布

对样本进行处理时，使用的往往不是样本本身，而是基于样本的不同函数，利用这些函数进行统计推断。

定义，设 $X_1,X_2,\cdots ,X_n$ 是来自总体 $X$ 的一个样本，$g(X_1,X_2,\cdots ,X_n)$ 是 $X_1,X_2,\cdots ,X_n$ 的函数。若 $g$ 中不包含未知参数，则称 $g(X_1,X_2,\cdots ,X_n)$ 是统计量。

由于 $X_1,X_2,\cdots ,X_n$ 是随机变量，而统计量 $g(X_1,X_2,\cdots ,X_n)$ 是随机变量的函数，因而统计量也是一个随机变量。若 $x_1,x_2,\cdots ,x_n$ 是样本 $X_1,X_2,\cdots ,X_n$ 的观测值，则 $g(x_1,x_2,\cdots ,x_n)$ 是 $g(X_1,X_2,\cdots ,X_n)$ 的观测值。

下面列出常用的统计量：

• 样本平均值
  $$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

• 样本方差
  $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2)$$

• 样本标准差
  $$S=\sqrt{S^2}$$

• 样本 $k$ 阶（原点）矩
  $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,\cdots$$

• 样本 $k$ 阶中心距
  $$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k,k=2,3,\cdots$$

注，在方差的计算过程中，其分母为 $n$，在样本方差的计算中，分母为 $n-1$。关于这么做的原因可以见博客 https://www.cnblogs.com/zzdbullet/p/10087196.html，描写的较为简单清晰。

定义，$X_1,X_2,\cdots ,X_n$ 是总体 $F$ 的一个样本，用 $S(x),-\infty <x<\infty$ 表示 $X_1,X_2,\cdots ,X_n$ 中不大于 $x$ 的随机变量的个数。定义经验分布函数 $F_n(x)$ 为
$$F_n(x)=\frac{1}{n}S(x),-\infty <x<\infty$$

经验分布函数与总体分布函数相对应。

三、关于统计量的性质

均值：

• $E(C)=C$
• $E(CX)=CE(X)$
• $E(X+Y)=E(X)+E(Y)$
• 若 $X,Y$ 相互独立，有 $E(XY)=E(X)E(Y)$

方差：

• $D(C)=0$
• $D(CX)=C^{2}D(X),D(X+C)=D(X)$
• D ( X + Y ) = D ( X ) + D ( Y ) + 2 E {   ( X − E ( X ) ) ( Y − E ( Y ) )   } D(X+Y)=D(X)+D(Y)+2E\set{(X-E(X))(Y-E(Y))} D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}
• 若 $X,Y$ 相互独立，则 $D(X+Y)=D(X)+D(Y)$

四、有关正态总体的几个常用统计量的分布

一、${\chi }^2$ 分布

设 $X_1,X_2,\cdots ,X_n$ 是来自总体 $N(0,1)$ 的样本，则称统计量
$${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$$
服从自由度为 $n$ 的 ${\chi }^2$ 分布，记为 ${\chi }^2\sim {\chi }^2(n)$

${\chi }^2(n)$ 分布的概率密度为
$$f(y)=\{\begin{array}{ll}\frac{1}{2^{n/2}\Gamma (n/2)}{y}^{n/2-1}{e}^{-y/2},& y>0,\\ 0,& otherwise\end{array}$$

证明：

• 已知 $X\sim \Phi (\mu ,{\sigma }^2)$，则 $Y=X^2$ 的分布为
  $$f_Y(y)=\{\begin{array}{ll}\frac{1}{\sqrt{2\pi }}{y}^{-1/2}{e}^{-1/2},& y>0,\\ 0,& y\le 0.\end{array}$$

  即 $f_Y(y)=\Gamma (\frac{1}{2},\frac{1}{2})$

• 又伽马分布具有可加性，则 ${\chi }^2\sim \Gamma (\frac{n}{2},\frac{1}{2})$

性质：

• 由 $\Gamma$ 分布的可加性易得 ${\chi }^2$ 分布的可加性
  $$\begin{gathered} {\chi }_1^2\sim {\chi }^2(n_1),{\chi }_2^2\sim {\chi }^2(n_2) \\ 有{\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2) \end{gathered}$$

• 若 ${\chi }^2\sim {\chi }^2(n)$，则 $E({\chi }^2)=n,D({\chi }^2)=2n$

二、t 分布

设 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，且 $X,Y$ 相互独立，称随机变量
$$t=\frac{X}{\sqrt{Y/n}}$$
服从自由度为 $n$ 的 $t$ 分布，记为 $t\sim t(n)$，其又称为学生氏分布。概率密度函数为
$$h(t)=\frac{\Gamma [(n+1)/2]}{\sqrt{\pi n}\Gamma (n/2)}(1+\frac{t^2}{n}{)}^{-(n+1)/2},-\infty <x<\infty$$
当 $n$ 足够大时，$t$ 近似标准正态分布。当 $n>45$ 时，使用正态近似。

三、$F$ 分布

设 $U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$，且 $U,V$ 相互独立，则称随机变量
$$F=\frac{U/n_1}{V/n_2}$$
为服从自由度为 $(n_1,n_2)$ 的 $F$ 分布，记为 $F\sim F(n_1,n_2)$。其概率密度函数为
$$f(x)=\frac{\Gamma ((n_1+n_2)/2)(n_1/n_2{)}^{n_1/2}{x}^{n_1/2-1}}{\Gamma (n_1/2)\Gamma (n_2/2)[(n_1/n_2)x+1{]}^{(n_1+n_2)/2}}x>0$$
由定义可知，若 $F\sim F(n_1,n_2)$，则 $\frac{1}{F}\sim F(n_2,n_1)$。$F$ 分布的一个性质为 $F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$，其中 $F_{\alpha }$ 为 $F$ 分布的 $\alpha$ 分位点。

四、正态总体的样本均值与样本方差的分布

设总体的均值为 $\mu$，方差为 ${\sigma }^2$，$X_i,i=1,\cdots ,n$ 为 $X$ 的一个样本，$\bar{X},S^2$ 分别是样本均值和方差，则有
$$E(\bar{X})=\mu ,D(S^2)=\frac{{\sigma }^2}{n}$$
进一步，假设 $X\sim N(\mu ,{\sigma }^2)$，则 $\bar{X}$ 也满足正态分布（正态分布的可加性），得到以下定理

• 定理一，设 $X_1,\cdots ,X_n$ 为来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\bar{X}$ 是样本均值，有
  $$\bar{X}\sim N(\mu ,{\sigma }^2/n)$$

• 定理二，设 $X_1,\cdots ,X_n$ 为来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\bar{X},S^2$ 分别是样本均值和方差，有

  1. $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
  2. $\bar{X}$ 和 $S^2$ 相互独立

• 定理三
  $$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

• 定理四，设 $X_1,\cdots ,X_{n_1}$ 和 $Y_1,\cdots ,Y_{n_2}$ 分别是来自正态总体 $N({\mu }_1,{\sigma }_1^2)$ 和 $N({\mu }_2,{\sigma }_2^2)$ 的样本，且这两个样本相互独立。设 $\bar{X},\bar{Y}$ 分别是这两个样本的均值，$S_1^2,S_2^2$ 分别是这两个样本的方差。有

  1. $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$

  2. 当 ${\sigma }_1^2={\sigma }_2^2=\sigma$ 时
     $$\frac{(\bar{X}-\bar{Y})-\left({\mu }_1-{\mu }_2\right)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t\left(n_1+n_2-2\right)$$
     其中
     $$S_w^2=\frac{\left(n_1-1\right)S_1^2+\left(n_2-1\right)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$$