【数理统计】基本概念

数理统计基本概念

总体、样本和统计模型

例 1 有一批产品，总数为 $N$。在 $N$ 件产品中，有 $N_{\theta }$ 件次品，$\theta$ 为这批产品的次品率。$\theta$ 是我们感兴趣的参数，通常是未知的，需要利用统计方法对参数 $\theta$ 做出推断。

• 总体（Population）：研究对象的全体，如例 1 中的这批产品就构成总体。通常用 $X,Y$ 等表示。
• 个体：总体中的每个对象，如例 1 中的每个产品。
• 样本（Sample）：$X_1,X_2,\cdots ,X_n$，样本的实现称为样本的一组观察值（Observation or data），记为 $x_1,x_2,\cdots ,x_n$。
  • 为了方便若不加特别声明，用 $x_1,x_2,\cdots ,x_n$ 既表示样本，又表示岩本观察值。
• 样本空间（Sample Space）：样本所有可能的取值构成的空间。
• 在统计中，对总体的推断，实际上是推断总体的分布，即确定总体的分布。为此，我们可以根据对总体了解程度，假设总体的分布属于某个分布族 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，至于其中哪一个分布最适合还得通过统计推断来确定，因此往往将 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ} 称为总体分布族。其中，$\Theta$ 称为参数空间（Parameter Space）。

如例 1 中，总体分布族为 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，其中
$$P_{\theta }(X=k)=\frac{\left(\begin{array}{c}N\theta \\ k\end{array}\right)\left(\begin{array}{c}N-N\theta \\ N-k\end{array}\right)}{\left(\begin{array}{c}N\\ n\end{array}\right)}$$
$k$ 满足
$$\max ((n-N(1-\theta )),0)\le k\le \min (N\theta ,n)$$
$X$ 表示一次试验中抽取的 $n$ 件产品的次品数， Θ = { θ : 0 < θ < 1 } \Theta = \{\theta:0<\theta<1\} Θ={θ:0<θ<1} 为参数空间。

统计量及其分布

设总体分布族为 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，我们仅知道总体的分布属于此分布族，但哪个最合适还需经过统计推断。推断总体的分布，实际上就是确定参数 $\theta$，为此，需抽取样本。样本来源于总体，它应当包含参数的所有相关信息，但观察值呈现为一堆杂乱无章数据，故需对数据进行加工或压缩，提取有关参数的信息，而剔除无关的信息，这在统计上就反映为构造样本的已知函数，即统计量（Statistic）。

例 2 设总体 $X$ 服从两点（正品和次品）分布，即 $P(X=1)=\theta$，$P(X=0)=1-\theta$，$0<\theta <1$。$X_1,X_2,\cdots ,X_n$ 是来自总体的样本，考虑样本的函数 $T(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^n{X}_i$，$T$ 实际上表示样本中所含的次品个数，对不同观察值可能对应相同的 $T$ 值，这样实际上是对样本起到了加工或压缩的作用。

统计量

定义 1 设 $X_1,X_2,\cdots ,X_n$ 是来自总体 $X$ 的一个样本，$T(X_1,X_2,\cdots ,X_n)$ 是样本的函数。如果 $T(X_1,X_2,\cdots ,X_n)$ 不包含任何未知参数，则称其为总体 $X$ 的统计量，简记为 $T$。

如例 2 中 $\sum_{i = 1}^n {{X_i}} $ 是统计量，因为它不含任何未知的参数。常用统计量包括：

• 样本均值（Sample Mean）：

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

• 样本方差（Sample Variance）：

$$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2$$

• 样本标准差（Sample Standard Deviation）：

$$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2}$$

• 样本矩（Sample Moment）:

  • $k$ 阶原点矩：

  $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2\cdots$$

  • $k$ 阶中心矩：

  $$B_k=\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^k,k=1,2\cdots$$

顺序统计量

把样本 $X_1,X_2,\cdots ,X_n$ 的观察值 $x_1,x_2,\cdots ,x_n$ 从小到大进行排列，记为 $x_{(1)},x_{(2)},\cdots ,x_{(n)}$，满足
$$x_{(1)}\le x_{(2)}\le \cdots \le x_{(n)}$$
定义排在第 $k(1\le k\le n)$ 个位置的 $x_{(k)}$ 为随机变量 $X_{(k)}$ 的观察值。显然
$$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$$
称 $X_{(1)},X_{(2)},\cdots ,X_{(n)}$ 为顺序统计量。

其中，有
X ( 1 ) = min ⁡ { X 1 , X 2 , ⋯   , X n } {X_{(1)}} = \min \{ {X_1},{X_2}, \cdots ,{X_n}\} X(1)​=min{X1​,X2​,⋯,Xn​}

X ( n ) = max ⁡ { X 1 , X 2 , ⋯   , X n } {X_{(n)}} = \max \{ {X_1},{X_2}, \cdots ,{X_n}\} X(n)​=max{X1​,X2​,⋯,Xn​}

对给定的 $p(0<p<1)$，定义样本 $p$ 分位数 $m_p$，

• $np$ 不是整数时，
  $$m_p={\lambda }_{([np+1])}$$

• $np$ 是整数时，
  $$m_p=\frac{1}{2}(X_{(np)}+X_{(np+1)})$$

充分统计量

统计量既然是对样本的加工或压缩，在这个过程中可能有损失有关参数的一部分信息，现在问题是在这个过程中是否存在某些统计量，既起到压缩作用，又不损失参数的信息，这样的统计量称为充分统计量。

例 3（续例 2） 设样本的观察值 $x_1,x_2,\cdots ,x_n$，则样本的联合分布函数为
$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)={\theta }^s(1-\theta {)}^{n-s}$$
其中 $x_i=0$ 或 $1$，$s={\sum }_{i=1}^n{x}_i$。

定义 2 设总体分布族为 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，$T(x)$ 是统计量。如果在给定 $T(X)=t$ 的条件下，$X$ 的条件分布与参数 $\theta$ 无关，则称统计量 $T(X)$ 是参数 $\theta$ 的充分统计量（Sufficient Statistics）。

一般情况下，利用条件分布证明统计量的充分性是比较困难的。但存在证明充分性的一个充分必要准则，这是下面的因子分解定理（Factorization theorem）。

定理 1 设总体分布族为 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，$T(x)$ 是充分统计量，当且仅当在一个定义在 $I\times \Theta$ 上的函数 $g(t,\theta )$ 及定义在 ${\mathbb{R}}^n$ 上的函数 $h(x)$ 使得
$$p(x,\theta )=g(T(x),\theta )h(x)$$
对所有的 $x\in {\mathbb{R}}^n$ 都成立，其中 $I$ 是 $T(x)$ 的值域，$p(x,\theta )$ 是样本的联合概率密度函数或分布律。

抽样分布

特征函数

设 $X$ 为随机变量，称函数
$${\varphi }_x(t)=E(e^{itX})$$
为 $X$ 的特征函数。

常见分布的特征函数：

• 二项分布 $B(n,p)$：

$$\varphi (t)=(p{e}^{it}+(1-p){)}^n$$

• Poisson 分布 $P(\lambda )$：

ϕ ( t ) = exp ⁡ { λ ( e i t − 1 } \phi(t) = \exp\{\lambda(e^{it - 1}\} ϕ(t)=exp{λ(eit−1}

• 正态分布 $N(\mu ,{\sigma }^2)$：

ϕ ( t ) = exp ⁡ { i μ t − 1 2 σ 2 t 2 } \phi(t) = \exp\{i\mu t - \frac{1}{2}\sigma^2t^2\} ϕ(t)=exp{iμt−21​σ2t2}

特征函数的特征：

• 有界性：对于任意 $t\in \mathbb{R}$，有 $|\varphi (t|\le \varphi (0)=1$。
• 设 $Y=aX+b$，其中 $a,b$ 为常数，则

$${\varphi }_Y(t)=e^{ibt}{\varphi }_X(at)$$

• 若 $X$ 与 $Y$ 相互独立，则有

$${\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t)$$

• 若 $E(X^n)$ 存在，则 ${\varphi }_X^{(n)}(t)$ 存在，且

$$E(X^k)=i^{-k}{\varphi }^{(k)}(0),k=1,2,\cdots ,n$$

• 特征函数与分布函数相互偎依确定

三大分布

${\chi }^2$ 分布

设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立且同服从标准正态分布 $N(0,1)$，称随机变量
$${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$$
所服从的分布为自由度是 $n$ 的 ${\chi }^2$ 分布，记为 ${\chi }^2\sim {\chi }^2(n)$。

定理 2 设简单样本 $X_1,X_2,\cdots ,X_n$ 来自正态总体 $N(\mu ,{\sigma }^2)$，则有
$${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n{(X_i-\mu )}^2\sim {\chi }^2(n)$$

定理 3 设 $X\sim {\chi }^2(n)$，则

• $X$ 的特征函数为

$$\varphi (t)=E{e}^{itX}=(1-2it{)}^{-\frac{n}{2}}$$

• $E(X)=n,D(X)=2n$

定理 4 设 $X_1\sim {\chi }^2(n_1)$，$X_2\sim {\chi }^2(n_2)$，且相互独立，则 $X_1+X_2\sim {\chi }^2(n_1+n_2)$。

$t$ 分布

设随机变量 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，且 $X$ 与 $Y$ 相互独立，则称随机变量
$$T=\frac{X}{\sqrt{Y/N}}$$
所服从的分布为自由度为 $n$ 的 $t$ 分布，记为 $T\sim t(n)$。

$F$ 分布

设随机变量 $X\sim {\chi }^2(n_1)$，$Y\sim {\chi }^2(n_2)$，且 $X$ 与 $Y$ 相互独立，则称随机变量
$$F=\frac{X/n_1}{Y/n_2}$$
所服从的分布为自由度为 $n_1,n_2$ 的 $F$ 分布，记为 $F\sim F(n_1,n_2)$。

正态总体下常见统计量的分布

定理 5 设 $X_1,X_2,\cdots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，$A$ 是 $p\times n$ 阶矩阵，则
KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*̲{20}{c}} {{Y_1}…
其中，$1=(1,1,\cdots ,1{)}^T$。

定理 6 设 $X_1,X_2,\cdots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，则

• $\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
• $\bar{X}$ 与 $S^2$ 相互独立
• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

定理 7 设 $X_1,X_2,\cdots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，则
$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

定理 8 设 $X_1,X_2,\cdots ,X_n$ 和 $Y_1,Y_2,\cdots ,Y_n$ 是来自正态总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个简单样本，且两样本独立，则
$$T=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$
其中，$\bar X = \frac{1}{{{n_1}}}\sum_{i = 1}^{{n_1}} {{X_i}} $，$\bar Y = \frac{1}{{{n_2}}}\sum_{i = 1}^{{n_2}} {{Y_i}}$，
$$S_1^2=\frac{1}{n_1-1}\sum _{i=1}^{n_1}{(X_i-\bar{X})}^2$$

$$S_2^2=\frac{1}{n_2-1}\sum _{i=1}^{n_2}{(Y_i-\bar{Y})}^2$$

$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

定理 9 设 $X_1,X_2,\cdots ,X_n$ 和 $Y_1,Y_2,\cdots ,Y_n$ 是来自正态总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个简单样本，且两样本独立，则
$$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

定理 10 设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立且同服从正态分布 $N(0,1)$，$A$ 为实对称矩阵。令 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$，则二次型
$$Y=X^{\prime }AX\sim {\chi }^2(p)$$
的充分必要条件是 $A^2=A$ （幂等阵），且 $p=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$。

分位点

定义 设随机变量 $X$ 的分布函数为 $F(x)$，对任意给定的实数 $p(0<p<1)$，若存在 $x_p$ 使得
$$P(X\le x_p)=F(x_p)=p$$
成立，则称 $x_p$ 为此概率分布的 $p$ 分位点。

常见分布分位点记号：

• 标准正态分布 $N(0,1)$：$z_p$ 表示，即 $P(X\le z_p)=p$，由对称性有 $z_{1-p}=-z_p$

• ${\chi }^2(n)$ 分布：用 ${\chi }_p^2(n)$ 表示 $p$ 分位点，即 $P({\chi }^2\le {\chi }_p^2(n))=p$

• $t(n)$ 分布：用 $t_p(n)$ 表示，即 $P(T\le t_p(n))=p$

• $F(n_1,n_2)$ 分布：用 $F_p(n_1,n_2)$ 表示，即 P { F ≤ F p ( n 1 , n 2 ) } = p P\{ F \le {F_p}({n_1},{n_2})\} = p P{F≤Fp​(n1​,n2​)}=p
  $$F_p(n_2,n_1)=\frac{1}{F_{1-p}(n_1,n_2)}$$

参考文献

[1] 孙海燕、周梦等，数理统计，2016。