高等数理统计_高等数理统计—第三章 点估计

欢迎指正。

第三章 点估计

通过样本

对总体的分布函数进行统计推断，通常有参数化与分参数方法，后者有专门的课程—非参数统计，我们这里目前只讲参数统计。

参数统计推断通常有两个基本问题，即参数估计和假设检验。参数估计又分为点估计和区间估计，由于区间估计与假设检验联系密切，我们放在假设检验后面来讲。

本章主要从以下几方面来讲：一点基本概念；无偏估计及UMVUE、UMRUE；极大似然估计、矩估计、最小二乘估计、简略介绍同变估计、稳健估计。

本章主要侧重于介绍方法，点估计的性质（效、渐进性质）我们放在第四章来讲。

3.1 基本概念

设参数

为样本，用统计量

作为未知参数

的“猜测”称为

点估计，此时称参数

为

待估参数。但并不是任意一个统计量都可以作为参数的估计，需要有一个准则，“无偏性”就是一个普遍认可的准则（但并不是唯一准则，也不是非要不可的准则，比如就有有偏估计，这里是为了顺利引出我们接下来的内容）。

3.2 无偏估计及UMVUE、UMRUE

3.2.1无偏估计

定义3.1 若

的估计为

,这里的

为未知参数的函数，则称

​

为

的偏差。若对一切

，则称

为

的无偏估计(UE)，即

​

关于无偏估计，我们有三点需要说明：

（1）无偏估计不一定存在

我们接下来的讨论都是对可估参数而言，不可估的参数讨论其无偏估计是无意义的。

（2）对可估参数，无偏估计一般不唯一

（3）无偏估计并不一定是一个好估计

----------------------------------------------------------------------------------------------

正如上面所说，无偏估计不唯一，那么我们就想在这堆无偏估计里面找一个最好的，什么样的最好？就需要我们有一个标准（即后面说的损失函数）。依据Wald于1950年提出的统计判决理论的观点，统计推断追求的目标是对于给定的损失函数

，希望求出

统计判决函数

(即我们要求的统计量)，使其 风险函数

尽可能小。

上面这句话总结了我们求一致最小风险方差无偏估计的思路。比如在估计问题中，用统计量

估计

，损失函数(通常都要求为

的凸函数)取

，则其相应的风险函数为

,此时的风险函数即为我们熟知的

均方误差，当然也有其他的损失函数比如绝对损失。为使 风险函数均方误差 最小，我们就可以求出相应的最小 风险方差 估计量。

上面这一段我们说了要用统计量

估计

，那我们要用什么统计量，肯定不能是随便一个统计量吧，在此我们有这样一个定理

定理3.1 （Rao-Blackwell）对于分布族

，若

为统计判决问题的凸损失函数，

为

充分统计量，

为任一统计判决函数，则

​

必优于或等同于

。 若

为

的严凸函数，则

一致优于

，而

等同于

的充要条件为

是

的函数，即

。

上面这个定理就是告诉我们，统计判决的最优解通常就是 充分统计量的函数。

3.2.2 一致最小风险方差无偏估计（UMRUEUMVUE）

上一小节我们说要从无偏估计量里面找一个充分统计量使得风险最小，在这里给出定义。

定义3.2 对于一般凸损失函数

，若存在

的无偏估计

，使得对任何其他无偏估计

有

则称

为

的

一致最小风险无偏估计（UMRUE）.

对于损失函数

，此时的风险函数即为均方误差，若

则称

为

的

一致最小方差无偏估计（UMVUE）.

到这里我们能看出来，均方误差是风险函数的一个特例。
在上一节我们给出的定理，最优解是充分统计量的函数，但仅仅如此是不够的。唯一性需要完备统计量来保证，最优性由完备统计量来保证，这里能出俩引理，就不列出了。直接给出最终版本的定理。

定理3.2(Lehmann-Scheffe)给定样本 ,设

。考虑

的无偏估计，损失函数

为凸函数，

为

完备的充分统计量,有：

（1）设

为

的无偏估计，且

为

的函数，即

，则

必为

的一致最小风险无偏估计（UMRUE）。

（2）设

为

的无偏估计，则

为

的一致最小风险无偏估计。

（3）若

为严格凸，且

的一致最小风险无偏估计存在，则必为

的函数。

若损失函数为

，上述(1)(2)(3)都成立，只不过不再叫一致最小风险无偏估计，称为一致最小方差无偏估计（UMRUE）。

3.2.3 解题方法和一个例题

在完备充分统计量和一致最小风险无偏估计存在的前提下，我们根据Lehmann-Scheffe定理，有两种求解

的UMRUE/UMVUE的方法：

（1）直接方法：找一个完备充分统计量

的函数

使

，则

为

的UMRUE。

（2）条件期望法：即取一个完备充分统计量

以及

的某一个无偏估计

，则

为

的UMRUE。这个方法关键在于求条件期望，较为麻烦。

下面给出一个例题，用以上两种方法解，但这并不意味着这两种方法都能同时去解其他问题，有时候根据分布、问题类型要选择其中一个，这就需要做大量的练习以熟练。

例1 设

独立同分布，均服从区间

上的均匀分布，样本为

。求参数

的UMVUE。

首先我们知道统计量

为一个完全充分统计量。

直接方法：找一个合适的

的函数

，使得

成为

的无偏估计，即

。为此，首先注意到

的概率密度函数为

我们看一下它的期望

于是我们就有

，就得到

是

的无偏估计，进而是UMVUE。

条件期望法： 我们先找一个

的无偏估计，

，可见

是

的一个无偏估计，进而条件数学期望

为

的UMVUE。接下来我们就算这个

，首先我们可以看出。当

时，

有

的概率取值为

，有

的概率服从区间

上的均匀分布。由此可得

可见

即是

的UMVUE。

3.3 极大似然估计（MLE）

极大似然估计在直观上可以这样解释：使得出现所选样本最大概率的分布参数的估计。

定义3.3 设

，把

视为

的函数，则称它为

关于

的

似然函数，

称为

对数似然函数，若

满足

则称

为

的

极大似然估计(MLE)。

极大似然估计不唯一， 如服从

均匀分布时，

都可视为

的极大似然估计，所以解不唯一。

若极大似然估计存在且唯一，则它必为充分统计量的函数。（借助因子分解定理）

关于极大似然估计的计算流程这个在本科阶段就有，因此不再赘述。有关极大似然估计的性质，我们在第四章讲。

3.4 矩估计

矩估计也叫矩方程估计，是比较老的方法，其理论基础就是独立同分布情况下的大数定律，即观察值的样本平均趋向于总体平均。

设

独立同分布，

，有

总体原点矩：

，其中

总体中心矩：

，其中

样本原点矩：

，其中

样本中心矩：

，其中

根据独立同分布随机变量序列的大数定律，当

时，

以概率收敛（几乎处处收敛）到

；类似的有

以概率收敛（几乎处处收敛）到

。因此可以自然得到

3.5 最小二乘估计（LSE）

最小二乘估计常用于线性模型求解，这个在很多的计量经济课本上都有介绍。

简单来说，在一个线性模型

中，我们希望求得的系数（估计值）

使得

最小，一般是求(偏)导来求解，但如果

是满秩矩阵，我们可以通过

快速计算出结果。

关于最小二乘的计算以及各种特殊情况（现实中较为常见）的处理，可以找一本线性模型的书来看。

3.6 同变估计

在一些参数估计问题中，要求寻找的估计量在样本作某种特定变换下保持某种统计性质。变换主要有三种：位移变换

、尺度变换

、线性变换

。于是就有这三种变换下的同变估计。同变估计，即在某种变换群下保持同变的估计。由于其严格的定义需由变换群和统计决策问题进行，因此我们在这仅给出同变估计的描述性定义。

定义 设

是

的一个估计量，如果在样本作某种特定变换下，估计量

具有某种相应的性质，则称

是在该变换下

的

同变估计。

具体可见《参数统计教程》的第四章，韦博成老师专门用一章的篇幅来介绍。

3.7 稳健估计

连续性原理：如果一个方法在该模型下是最优的，则它应在该模型附近是几乎最优的。

具备这种连续性的方法称为稳健的。

稳健统计中一类常用的估计是M估计，它是Huber在1954年对极大似然估计加以引申而得出的。

定义 设

是来自某总体的一个样本，

为一选定的非负函数，若估计

满足

则称

为

的一个

M估计。

若

关于

可微，即

，如果

满足

则

也称为

的一个

M估计。

上面两个公式的关系就像极大似然估计的定义和通过似然方程求解极大似然估计的关系一样。