【数理统计】01. 数理统计绪论

Chapter 1：数理统计绪论

一、什么是数理统计学

什么是数理统计学？数理统计学是研究如何有效地收集和使用带有随机性影响的数据的一门学科。

1. 必须是受到随机影响的数据，才能成为数理统计学的研究内容。

   随机性的第一个来源是试验误差，第二个来源是由于研究问题所涉及到的对象太多，因此我们只能随机地抽取部分来进行研究。

2. 如何“有效”地收集数据。

   “有效”的含义：一方面是可以建立一个模型来描述所得的数据，另一方面是数据中要尽可能多的包含与研究问题有关的信息。

3. 如何“有效"地利用数据。

   有效地使用数据进行统计推断，需要对数据建立一个统计模型，提出统计推断的方法，并给定某些准则去评判不同统计推断方法的优劣。注意，统计推断属于归纳推理方法，归纳推理做出的推断不是100%可靠，但它的可靠程度是可以通过概率来度量的。

二、总体和样本

Part 1：总体和样本的定义

举个例子：假设某灯泡厂生产的一批灯泡有10000个，其中灯泡的寿命在3000小时以上的为正品，否则即为次品。为了检验这批灯泡的次品率，我们从中抽取100个灯泡并检测它们的寿命。

在这个例子中，灯泡厂生产的这10000个灯泡的寿命称为总体，其中的每个灯泡的寿命称为个体，从中抽取的100个灯泡的寿命称为样本，抽取100个灯泡的行为称为抽样，样本中个体的数目称为样本容量。

在此基础上，我们首先来细化一下总体和个体的定义：

• 总体是研究问题所涉及的对象的全体的集合。
• 个体是总体中的每个元素，是数据的载体。

事实上，数理统计分析的目的不在于了解总体中的某些个体的确切情况，而在于了解总体的某些数量特征，因此我们可以对总体有如下的理解：

• 总体可以看成由所有个体上的某种数量指标构成的集合，是数的集合。
• 在数理统计学中，总体可以用一个随机变量及其概率分布来描述，称为总体分布。

因此，总体可以用随机变量 $X$ 来表示，也可以用它的分布函数 $F$ 来表示。如果它的密度函数存在，则总体也可以用密度函数 $f$ 来表示。一般地，我们对总体和总体分布不作区分。

接下来我们给出样本及其相关概念的定义：

• 样本是从总体中按一定规则抽取的一部分个体。
• 抽样是从总体中按一定规则抽出一部分个体的行为。
• 样本容量是样本中所抽取的个体的数目。

注意到，当我们从总体中作具体抽样时，每次抽样的结果都是一些具体的数，我们收集到的实际上是一组样本的观测值；而在实施具体抽样之前，我们无法预料抽样的结果，因此样本具有了随机变量的随机性。这就是样本的两重性：样本既可以看成随机变量，又可以看成具体的常数。

在理解了总体和样本的基本概念之后，我们引入样本空间的数学定义：

设 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$ 是从总体中抽取的样本，定义样本 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$ 可能取值的全体，构成样本空间，记为 $\mathcal{X}$ 。

从数学的角度来看，一个容量为 $n$ 的样本 $(X_1,X_2,\cdots ,X_n)$ 构成一个 $n$ 维随机向量，当样本被实际观测到时，其观测值就是一组实际的数据，通常记为 $(x_1,x_2,\cdots ,x_n)$ 。这里也体现了样本的两重性。

Part 2：简单随机样本

抽样的目的是通过取得的样本对总体分布中某些未知的量作出判断，为使抽取的样本能够很好地反映总体的信息，我们需要考虑抽样方法。下面我们介绍一种常用的抽样方法：简单随机抽样。

简单随机抽样的含义为：总体中的每一个个体，各个机会均等地成为样本中的元素。满足以下两个性质：

1. 代表性/随机性：样本中的每一个个体作为随机变量，它与总体都是同分布的。
2. 独立性：样本中的每一个个体作为随机变量，它们之间都是相互独立的。

由简单随机抽样获得的样本 $(X_1,X_2,\cdots ,X_n)$ 称为简单随机样本，记为：
$$X_1,X_2,\cdots ,X_n\stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}.}{\sim }X.$$
假设总体具有分布函数 $F(x)$ ，则简单随机样本的联合分布函数为：
$$F_n(x_1,x_2,\cdots ,x_n)=F(x_1)F(x_2)\cdots F(x_n).$$
如果总体具有密度函数 $f(x)$ ，则简单随机样本的联合密度函数为：
$$f_n(x_1,x_2,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n).$$

Part 3：样本分布族

在数理统计研究中，总体分布一般是不完全已知的，我们需要对总体做出一些假定。一般情况下，我们假定总体 $X$ 的分布函数 $F(x)$ 是属于某个分布族 $\mathcal{F}$ 的。

分布族可以分为参数分布族、非参数分布族和半参数分布族。参数分布族出发所得的统计方法称为参数统计方法，从非参数分布族出发所得的统计方法称为非参数统计方法，从半参数分布族出发所得的统计方法称为半参数统计方法。我们主要介绍一下参数分布族。

参数分布族：分布族只含有有限个未知的参数，常表示为
F = { F ( x ; θ ) : θ ∈ Θ }   , \mathcal{F}=\left\{F(x;\theta):\theta\in\Theta\right\} \ , F={ F(x;θ):θ∈Θ} ,
其中，$\theta$ 表示未知参数或向量，$\Theta$ 是参数 $\theta$ 可能的取值范围，称为参数空间。

下面我们列举了几类常用的参数分布族：

• 二项分布族： { B ( n , p ) : 0 < p < 1 } \{B(n,p):0<p<1\} { B(n,p):0<p<1} ；
• 几何分布族： { G e ( p ) : 0 < p < 1 } \{Ge(p):0<p<1\} { Ge(p):0<p<1} ；
• 泊松分布族： { P ( λ ) : λ > 0 } \{P(\lambda):\lambda>0\}