参数估计

参数估计包括点估计和区间估计两类。

点估计

点估计是以抽样得到的样本指标作为总体指标的估计量，并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法。

点估计(point estimate)是用样本统计量的某个取值直接作为总体参数的估计值。例如，用样本均值x直接作为总体均值μ的估计值，用样本方差s²直接作为总体方差σ²的估计值。点估计的方法有：矩估计法、顺序统计量法、最大似然法、最小二乘法。

矩估计法：矩是指以期望为基础而定义的数字特征，一般分为原点矩和中心矩。设X为随机变量，对任意正整数k，称E(X^k)为随机变量X的k阶原点矩，记为：
$$m_k=E(X^k)$$
当k=1时，m₁=E(X)=μ，可见一阶原点矩为随机变量X的数学期望。

把C_k=E[X-E(X)]^k称为以E(X)为中心的k阶中心矩。显然，当k=2时，C₂=E[X-E(x)]²=σ²，可见二阶中心矩为随机变量X的方差。

顺序统计量法：用样本中位数估计总体的数学期望的方法称数学期望的顺序统计量估计法。顺序统计量估计法的优点是计算简便，且中位数不易受个别异常数据的影响．如果一组样本值某一数据异常(如过于小或过于大)，则这个异常数据可能是总体的随机性造成的，也可能是受外来干扰造成的(如工作人员粗心，记录错误)，当原因属于后者，用样本平均值估计E(x)显然受到影响，但用样本中位数估计总体期望时，由于一个(甚至几个)异常的数据不易改变中位数的取值，所以估计值不易受到影响。

最大似然法(Maximum Likelihood)：它用来求一个样本集的相关概率密度函数的参数。

最小二乘法(generalized least squares)：是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

区间估计

区间估计(interval estimate)是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。与点估计不同，进行区间估计时，根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。

区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间(confidence interval)，其中区间的最小值称为置信下限，最大值称为置信上限。

如果将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例称为置信水平(confidence level)，也称为置信度或置信系数(confidence coefficient)。

区间估计的正确理解方式：区间估计并不是总体参数落在某个区间的概率，而是抽取的多个样本中有多大的概率包含总体参数，由此通过概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。

一个总体参数的区间估计

研究一个总体时，所关心的参数主要有总体均值μ、总体比例π和总体方差σ²等。

1. 总体均值的区间估计

   对总体均值进行区间估计时，需要考虑总体是否为正态分布，总体方差是否已知，用于构造估计量的样本是大样本（通常要求n≥30）还是小样本（n<30）等几种情况。下面分两种情况来分析：

   （1）正态总体、方差已知，或非正态总体、大样本

   当总体服从正态分布且方差已知，或总体非正态分布但样本为大样本时，样本均值x的抽样分布服从正态分布，其数学期望为总体均值μ，方差为σ²/n。样本均值经过标准化后的随机变量则服从正态分布，即
   $$z=\frac{\overline{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
   根据式上式和正态分布的性质可以得出总体均值μ在1-α置信水平下的置信区间为：
   $$\overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$

   （2）正态总体、方差未知、小样本

   在总体服从正态分布的情况下，如果总体方差σ²未知，且样本较小的情况下，需要用样本方差s²代替σ²。这时，样本均值经过标准化以后的随机变量服从自由度为(n-1)的t分布，即
   t = x