#统计分析-参数估计专题A

上一篇讲到了数理统计和参数估计，简单介绍了一下整体的概念，但我还是觉得讲得太浮于表面，所以，今天我也打算写一篇参数估计的专题文章，这篇文章将会相对比较完整地讲解一下参数估计！（估计会比较枯燥哈哈哈哈）

part 1:简介

参数估计（parameter estimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

参数估计有多种方法，有矩估计、极大似然法、一致最小方差无偏估计、最小风险估计、同变估计、最小二乘法、贝叶斯估计、极大验后法、最小风险法和极小化极大熵法等。最基本的方法是最小二乘法和极大似然法。

part 2:标准特点

（1）无偏性

无偏性是指估计量抽样分布的数学期望等于总体参数的真值。无偏性的含义是，估计量是一随机变量，对于样本的每一次实现，由估计量算出的估计值有时可能偏高，有时可能偏低，但这些估计值平均起来等于总体参数的真值。在平均意义下，无偏性表示没有系统误差。

（2）有效性

有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。离散程度是用方差度量的，因此在无偏估计量中，方差愈小愈有效。

（3）一致性

一致性，又称相合性，是指随着样本容量的增大，估计量愈来愈接近总体参数的真值。

part 3:性质

当估计值的数学期望等于参数真值时，参数估计就是无偏估计。

当估计值是数据的线性函数时，参数估计就是线性估计。

当估计值的均方差最小时，参数估计为一致最小均方误差估计。

若线性估计又是一致最小均方误差估计，则称为最优线性无偏估计。如果无偏估计值的方差达到克拉默-尧不等式的下界,则称为有效估计值。

寻求最小二乘估计和极大似然估计的常用方法是将准则对参数θ求导数，计算梯度，因而要使用最优化的方法:梯度法、变尺度法、单纯形搜索法、牛顿-拉夫森法等。

part 4:参数估计的分类

参数估计常用的有点估计(point estimation)、区间估计(interval estimation)和递推参数估计三种。

（1）点估计

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。

例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。

构造点估计常用的方法是：

①矩估计法。用样本矩估计总体矩，从而得到总体分布中参数的一种估计。它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩。矩估计法的优点是简单易行, 并不需要事先知道总体是什么分布。缺点是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下，矩估计量不具有唯一性。

②最大似然估计法。利用样本分布密度构造似然函数来求出参数的最大似然估计。

③最小二乘法。主要用于线性统计模型中的参数估计问题。

④贝叶斯估计法。用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。

优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。

小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。

（2）区间估计

区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

求置信区间常用的三种方法：

①利用已知的抽样分布。例如，设x1,x2，…，xn为正态总体N（μ，σ2）中抽出的样本，要作μ的区间估计，则服从自由度为n-1的t分布。指定α>0，找这个分布的上α/2分位数tα/2(n-1），则有即由此得到 μ 的一个置信系数为 1-α 的置信区间。

②利用区间估计与假设检验的联系。设要作θ的置信系数为1－α 的区间估计，对于任意的θ0，考虑原假设为 H：θ=θ0，备择假设为 K：θ≠θ0。设有一水平为α 的检验，它当样本X属于集合A( θ0）时接受H。若集合{θ0∶X∈A（θ0)}是一个区间，则它就是θ的一个置信区间，其置信系数为1-α。

就上例而言，对假设H：μ=μ0的检验常用t检验。

③利用大样本理论。例如，设x1,x2，…，xn为抽自参数为p的二点分布的样本，当n→∞时，分布收敛于标准正态分布N(0,1），以 uα/2记N (0，1）的上 α/2分位数。所以，可作为p的一个区间估计，上面的极限值1－α就定义为它的渐近置信系数。

评价置信区间的好坏有两个因素：一是其精度，可以用区间的长度来刻画，长度越长，精度越低。另一个因素是置信度，在样本容量固定时，当置信度增大，此时置信区间的长度变大，即置信区间的置信度越高，则精度越低，反之，精度越高则置信度越低。

（3）递推参数估计

为了减少计算量，便于在线估计参数，产生了许多递推算法，一般是用递推算法估计动态系统的参数。

最小二乘法和极大似然法都有递推形式，另外还有递推广义最小二乘法、递推辅助变量法和递推增广最小二乘法等，都是递推最小二乘法的改进形式，可以用来估计带有色噪声干扰的系统。此外，随机逼近算法、卡尔曼滤波法和朗道递推估计，是从不同的出发点得到的递推参数估计法（见递推估计算法），大多数递推参数估计算法的一致性,即,可以用鞅收敛性、常微分方程稳定性和超稳定性、正实性分别证明。

part 5:参数估计与假设检验

统计推断是由样本的信息来推测母体性能的一种方法，它又可以分为两类问题，即参数估计和假设检验。实际生产和科学实验中，大量的问题是在获得一批数据后，要对母体的某一参数进行估计和检验。

例如，我们对45钢的断裂韧性作了测定，取得了一批数据，然后要求45钢断裂韧性的平均值，或要求45钢断裂韧性的单侧下限值，或要求45钢断裂韧性的分散度(即离散系数)，这就是参数估计的问题。

又如，经过长期的积累，知道了某材料的断裂韧性的平均值和标准差，经改进热处理后，又测得一批数据，试问新工艺与老工艺相比是否有显著差异，这就是假设检验的问题。

这样可以看出，参数估计是假设检验的第一步，没有参数估计，也就无法完成假设检验。

备注：90%来自百度百科，做了一些删减～