第4章 参数估计

4.1 数理统计学的基本概念

数理统计学是这样一门学科：它使用概率论和数学的方法，研究怎样收集（通过试验或观察）带有随机误差的数据，并在设定的模型（称为统计模型）之下，对这种数据进行分析（称为统计分析），以对所研究的问题做出推断（称为统计推断）。

4.1.2 总体

总体是指与所研究的问题有关的对象（个体）的全体所构成的集合。
在大多数问题中，我们不关心具体的人或物，而只关心与之有关的某种指标。
在数理统计学中总体就是一个分布。只要有相同的分布，两个总体就视为同类总体。
英国统计学家R·A·费歇尔，引进了“无限总体”的概念，即个体的数量很大，在概率论上相当于用一个连续分布去逼近离散分布。

4.1.3 样本

样本是指按一定的规定在总体中抽出的一部分个体。“按一定规定是指”总体中的每一个个体有同等的被抽出的机会。
在有限总体的情况下，单由总体分布已不足以完全决定样本的分布如何，还要看抽样的方式。

4.1.4 统计量

完全由样本所决定的量叫做统计量。统计量只依赖于样本，不能依赖于任何其它未知的量，特别是总体分布中所包含的未知参数。

• 样本方差：
  $$S^2=\sum_{i=1}^{n}(X_i-\bar X)^2/(n-1)$$
• 样本矩：
  $$a_k=\frac{(X_1^k+X_2^k+\cdots+X_n^k)}{n}$$
  $$m_k=\frac{\sum_{i=1}^{n}(X_i-\bar X)^k}{n}$$
  有时也把$\alpha_k, \mu_k$称为理论矩，把$a_k,m_k$称为经验矩。

4.2 矩估计、极大似然估计和贝叶斯估计

4.2.1 参数的点估计问题

约定$f(x;\theta_1,\cdots,\theta_k)$为“总体分布”。比如，要估计未知参数$\theta_1$，构造一个适当的统计量$\hat \theta_1=\hat \theta_1(X_1,\cdots,X_n)$，$\hat \theta_1$叫做$\theta_1$的估计量。由于$\theta_1$是数轴上的一个点，这样用一个点去估计另一个点，叫做点估计。

4.2.2 矩估计法

关键是构造方程组求解。以原点矩为例。

$$\alpha_m=\int_{-\infty}^{\infty}x^mf(x;\theta_1,\cdots,\theta_k)dx\quad或\quad \sum_i x_i f(x;\theta_1,\cdots,\theta_k)$$
当n足够大时，用：
$$a_m=\frac{(X_1^k+X_2^k+\cdots+X_n^m)}{n}$$
去逼近 α