参数估计

0X00 前言

人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

0X01 标准特点

1.1 无偏性

无偏性是指估计量抽样分布的数学期望等于总体参数的真值。无偏性的含义是，估计量是一随机变量，对于样本的每一次实现，由估计量算出的估计值有时可能偏高，有时可能偏低，但这些估计值平均起来等于总体参数的真值。在平均意义下，无偏性表示没有系统误差。

1.2 有效性

有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。离散程度是用方差度量的，因此在无偏估计量中，方差愈小愈有效。

1.3 一致性

一致性，又称相合性，是指随着样本容量的增大，估计量愈来愈接近总体参数的真值。

0X02 点估计

点估计*(point estimation)*是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。构造点估计常用的方法：矩估计法；最大似然估计法；最小二乘法；贝叶斯估计法。

0X03 区间估计

区间估计*(interval estimation)*是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

求置信区间常用的三种方法：

1. 利用已知的抽样分布。例如，设x1,x2，…，xn为正态总体N（μ，σ2）中抽出的样本，要作μ的区间估计，则服从自由度为n-1的t分布。指定α>0，找这个分布的上α/2分位数tα/2(n-1），则有即由此得到 μ 的一个置信系数为 1-α 的置信区间。

2. 利用区间估计与假设检验的联系。设要作θ的置信系数为1－α 的区间估计，对于任意的θ0，考虑原假设为 H：θ=θ0，备择假设为 K：θ≠θ0。设有一水平为α 的检验，它当样本X属于集合A( θ0）时接受H。若集合{θ0∶X∈A（θ0)}是一个区间，则它就是θ的一个置信区间，其置信系数为1-α。就上例而言，对假设H：μ=μ0的检验常用t检验：当时接受μ=μ0，集合即为区间。这正是前面定出的μ的置信区间。若要求θ的置信下限（或上限），则取原假设为θ≤θ0（或θ≥θ0），备择假设为θ>；θ0（或θ<；θ0），按照同样的方法可得到所要求的置信下（上）限。

3. 利用大样本理论。例如，设x1,x2，…，xn为抽自参数为p的二点分布的样本，当n→∞时，依分布收敛（见概率论中的收敛）于标准正态分布N(0,1），以 uα/2记N (0，1）的上 α/2分位数。所以，可作为p的一个区间估计，上面的极限值1－α就定义为它的渐近置信系数。

   评价置信区间的好坏有两个因素：一是其精度，可以用区间的长度来刻画，长度越长，精度越低。另一个因素是置信度，在样本容量固定时，当置信度增大，此时置信区间的长度变大，即置信区间的置信度越高，则精度越低，反之，精度越高则置信度越低。