估计的商是什么意思_数理统计|笔记整理（7）——同变估计

上一节笔记传送门：数理统计|笔记整理（6）——常见分布族，估计量的进阶性质（2）：UMVUE，UMRUE相关计算

下一节笔记传送门：数理统计|笔记整理（8）——估计量的高级性质：C-R不等式，Slutsky定理，渐近正态性初步

——————————————————————————————————————

大家好！

我们在4-6节中一直在关注参数估计中的无偏估计。在工程中，我们对于样本的统计参数做估计，也一般会先关注无偏性。那么在这一节中，我们要说一个对我自己来说都完全陌生的概念——同变估计。它是什么含义？又会导出什么有意思的内容？这是我们这一节的关注重点。

这一节完全是高等数理统计的内容，因此全文都会斜体，所以本科生如果不感兴趣，可以直接跳过这一节。

那么我们开始吧。

目录

• 引入
  • 样本空间变换群与不变分布族
  • 同变意义下的统计判决
• 平移变换群下位置参数的最优同变估计
  • 平移变换群下的Pitman积分公式
• 相似变换群下尺度参数的最优同变估计
  • 相似变换群下的Pitman积分公式

引入

第一个问题自然是，什么是同变估计？

Definition 1: Equivariant Estimator 在某种变换群下保持同变的估计。

你可能会缓缓地打出一个？，变换群是什么？它是抽代的一个概念，我们在之后再具体阐述。现在，我们先来直观的用例子，理解一下什么叫“同变”。

同变同变，顾名思义，“同时变化”，“同样的变化”。所以它的定义就是，在样本做了一个变换之后，对应的估计需要满足同样的变换。比方说针对一个位置参数的估计

，如果我们的样本通通增大一个常数

，估计就会变成

，同变同变，就是要同样变，同时变。所以我们直观来看，这个估计也要增大

，所以带来的就是下面这个等式。

所以在这一个意义下的得到的所有的估计就是同变估计，事实上是一种与无偏估计角度不太一样的另外一个估计参数空间。

我们根据书上的例子继续阐述这个概念的意义。如果你要求一个好的同变估计，那么它应该要是充分统计量的函数（第5节）。那么简单起见，我们考虑均方误差的损失函数，并且设样本满足

，那么不妨设

，考虑找到一个最好的

，这样的话，

。取

就可以得到

。

因为我们考虑均方误差，所以容易得到

（在这里我们要注意，我们考虑的

是不会与我们的

有关的）

由于

可以使得

达到最小，所以我们的最好的同变估计就是

。

样本空间变换群与不变分布族

有了这些例子，现在的问题就是定义变换群和对应的统计意义。

Definition 2: Transformation Group 若变换

满足

，则称它为变换群。若集合可测，则称它为可测变换群。

关于群的基本性质可以见下面这一节笔记，虽然这一节笔记是抽代的一个开头，但是够用了。

学弱猹：抽象代数|笔记整理（1）——群，子群，同态​zhuanlan.zhihu.com

下面我们给出导出群的概念。

Definition 3: Derived Group 给定分布族

以及

上的可测变换群

，且假设

一定可以导出

，如果

，且对任何的

，均存在

，使得

，则称

为关于群

的不变分布族。故可以考虑定义一个一一变换

使得

，记

，则称

为群

在参数空间

上的导出群。

此时，可能你又缓缓地打出了一个？，该如何理解？首先，我们要注意的是，变换群是一种变换，比方说平移变换。所以

就代表一切的平移变换，那么

就代表变换的量度。举个例子，对于分布

，如果我们施加一个平移变换

，这里的

，

。分布就会变成一个

。你可以看出，对

施加的变换就是

，对

施加的变换就是

，它们俩在这里是一样的。同样的，如果我们设分布族为

，那么这个就是关于变换群

的一个不变分布族，因为无论

中的那个平移常数

取多少，对随机变量

施加什么样的变换，它的参数都是

，只是

会有不同罢了。

但是，自然也会有反例。如果我们考虑相似变换群

，那么因为当

的时候，

，那么这个

只要取值不是

，变换之后就不再是同样的分布族里的了，那自然不能够说是不变分布族了。

所以我们看到，所谓的变换群，其实就是一个描述一系列变换的集合。而变换的思想其实早就不会陌生。比方说，我们经常会提到的位置参数分布族，尺度参数分布族，它们就分别关于平移变换群和相似变换群为不变分布族。

好的，我们用两个引理巩固一下抽代的基本概念。

Lemma 1: 若

为

上的变换群，

关于群

为不变分布族，导出群为

，那么有

首先我们注意到，对于一个随机变量

，我们有

（强调一下，随机变量之间对应一个变换群

，参数之间对应一个变换

）。那么实际上，我们有

（最后是因为随机变量变了，所以参数空间要变）

至于第二个结论，直接由

就可以得到。在证明中，时刻需要注意的就是

所对应的究竟是哪一个随机变量。

Lemma 2:

在

上构成与

同态的群。

（同态的概念也可以在上面笔记中找到）

要证明这个结论，很明显需要说明一些对应。也就是说，如果能够找到一个映射

，满足

，那么在这里，我们自然希望，

，同时

（注意是复合，不是乘法，也不是内积）。这就需要依靠Lemma 1。因为

这就足够证明结论了。

同变意义下的统计判决

我想你没有忘记我们第五节说的统计判决这个东西。我们给出判决的导出群的概念，再来说明同变意义下的统计判决有什么不一样。

Definition 3: Derived Group in Statistical Decision Function 设分布族

关于可测变换群

为不变分布族，

为

在参数空间

上的导出群。对于给定判决空间

，如果对任何的

，都存在

上的一一变换

，且

构成与

同态的群，则称

为

在

上的导出群，并且记

你可以看到，我们在之前定义了两个变换群

，在这里，我们又定义了一个新的变换群

。那么为了保证“同变”，自然就会导致下面这个定义。

Definition 4: Equivariant Statistical Decision Function/Loss Function 若统计判决函数满足

，则称

为关于变换群的同变判决函数。若损失函数

满足

，则称它为关于变换群的同变损失函数。

我们还要注意的事情就是，统计判决是针对不同的统计推断问题设计的。也就是说参数估计和假设检验就对应有不同的统计判决函数。

我们还是考虑用那个

的分布举个例子，我们这里主要来看一下损失函数。如果要求它满足同变性，那么我们在确定好

的变换之后，就会有

。要满足这个条件，很明显需要它是一个

的函数（考虑

）。所以，我们的绝对误差和均方误差都是可以考虑的同变损失函数。

最后这个Lemma 3是我们考虑同变估计的依据，它的证明和我们的Lemma 1很相似。只要弄清楚随机变量与参数标记的对应关系即可。

Lemma 3:

根据

和对应的参数变化即可得证，我们略去具体的证明。

在同变性的意义下，我们自然也可以得到最优的一个估计。这样的估计就是最优同变估计（MREE）。

平移变换群下位置参数的最优同变估计

从这一部分开始，我们进入一些具体的求解。也就是说，设

，那么如果

，那么

就服从位置参数分布族。如果

，那么

我们称为

标准分布。需要注意的是这里的“标准”是基于参数而言。也就是说，这个分布一定要与

无关

。

根据我们上面的引入，下面我们就一步步的把需要的群，对应的风险函数和MREE的求解方法列出来。

首先，我们要给定随机变量（书上说的是样本空间）的变换群（也就是平移变换群），也就是

。然后我们需要考虑

参数空间的导出群。根据同变的含义，其实就已经发现了，如果

被施加了变换

变成

，那么对应的分布就会变为

（想想为什么），所以这个分布是不变分布族，对应的导出群为

。接下来考虑

判决的导出群。注意，我们研究的是“最优同变估计”，那么自然的，我们希望的估计也必须有相同的变换，所以这里的意思就是

。最后考虑

损失函数，如果也要求同变的话，很明显，就让它作为

的函数即可。

有了这些，要求MREE，我们还需要做一些准备。

Lemma 4: 设

为

的平移同变估计，那么

为平移不变量，也即

，或

。

走定义即可。

Lemma 5:

为平移不变量的充要条件为：存在

使得

，其中

为不变量，且它的分布仅仅与标准分布有关，而与

无关。

这个也很简单，就不多说了。

其实通过这个你可以看到，因为“不变量”的存在不会改变同变估计的“同变”含义，所以我们很容易证明的就是下面这个性质。

Proposition 1: 若

是

的某一个平移同变估计，那么任一平移同变估计都可以表示为

你可以看到，有了这个性质，我们只需要找到一个同变估计

，剩下的所有的同变估计都可以得到，它们就是

。既然所有的都可以得到，那么自然的最优的也就可以根据损失函数最小的原则得到。

对于损失函数，一个最为常用的就是均方损失函数。其它的损失函数对应的最优同变估计求解会复杂很多，也不是我们关注的重点。

Theorem 1: Pitman 给定一个

的平移同变估计，那么它的最优同变估计可以表示为

，注意

表示对标准分布取期望（也就是假设内部的分布是

经过了一次平移的，这个思想我们后面会多次强调）。

既然要求

的最小值，那么我们可以假设

。代回就可以得到

（注意，因为

，因此做一个变量代换，就相当于对标准分布求期望了，因为这相当于把密度函数改了一下，从

改为了

。而

的分布本身就与

无关，因此改变

就不会改变期望的值）。

所以问题就落到了，如何求解

的最小值？这里有一个常见的技巧——

转换为条件期望。也就是说，把式子改成

在这样的条件期望下，归根到底变成了优化

这个量，也就是说，我们希望求一个类似于

的关于

的最小值，这可以通过直接求导得到结果。我们略去后面的证明。

在实际的MREE求解中，我们的难点自然会在那个条件期望上。但也许你注意到了，

本身是一个与

无关的统计量，所以它是辅助统计量，这也意味着我们可以通过

完备充分统计量来考虑化简它的计算。在这之前，我们先看一些Pitman估计的性质和例题，过渡一下。

Proposition 2: Pitman估计无偏。

首先还是一样，我们列出计算过程，有

最后，由重期望公式即可得到式子为0。

Example 1: 设

，求

的最优同变估计。

解答之前有必要提一下，虽然根据我们的Pitman公式，我们要先找到一个同变估计。但是其实大部分时候都不需要这么做。比方说在这里，因为我们考虑的是平移变换，所以这个同变估计其实是很好找的，只需要它在平移变换下保持同变即可。但是，为了方便之后使用Pitman公式计算，我们往往需要完备充分统计量。因此很多时候，我们会先找完备充分统计量，再判断它是不是同变估计，再使用Pitman公式。

我们在第一节中简单提过带位置参数的分布。这里我们再说一下，在这里因为

，它的意思其实就是

。那么这个时候，因为

，它的密度函数为

，作了那么一个变换之后，概率论告诉我们密度函数就会变为

。既然要求它的充分统计量，那么自然的希望写出联合概率密度，然后一项一项的去查看。这里因为只有一项

是同时包含未知参数与

的，因此只有这一项需要处理，也就是说

为我们的充分统计量。它是完备的，但是证明我们就不说了（大部分情况下，说明充分之后基本上都能保持极小和完备，当然这一节我们会看到，其实也有例外）。

有了这个结论，根据Basu定理加Pitman公式，我们可以得到

这是很好求的，因为

就相当于对指数分布求期望，而内部的变量就可以理解为它服从一个

的指数分布（这个思想很重要，我们之前对

与

的转换也是这个处理方式）。根据这个思路容易得到

，也就是我们的结果。

平移变换群下的Pitman积分公式

事实上，通过我们之前的公式，还可以作进一步的处理，使之有一个更好的表达式。

Proposition 3: 设

，那么

的平移最优同变估计可以表示为

它的证明非常依赖概率论的技巧。考虑到我们一直没有提起这些相关的部分，我们决定完整的把证明过程写一遍。

首先因为我们的公式是

，所以不妨取

（它当然是一个同变估计，虽然一开始你可能会恍惚一下）。那么这样的话，对应的

。

在这个情况下，我们考虑直接积分，那么关键的问题也就是

，也就是说，在参数为0的时候对应的条件分布

。那么很显然，要先求联合密度

。注意到联合密度其实本质上就是在原始的分布函数上做了这么一个变换。

显然，变换的Jacobi行列式为1，所以容易得到这个联合密度函数为

。那么自然的，条件期望和对应的标准分布期望

即可以写成

那么考虑令

做一个变量代换即可得到最终结论，我们略去细节。

好的，既然给出了公式，自然不能不用题目来补充。

Example 2: 设

为独立同分布样本，且

，求

的最优同变估计。

趁着这个题，我们再强调一下所谓的

和标准分布的含义。在这里，我们的联合概率密度为

也就是说，如果

，那么它的概率密度我们就要

写成

，因为

我们要求

对应的是标准分布，与

无关的分布

。这是同变估计里面写法很不一样的地方。

在这种情况下，我们再考虑Pitman公式，就可以得到

所以最终结果就是

。

相似变换群下尺度参数的最优同变估计

所谓的相似变换群，就是考虑这样的分布族

，当

的时候为标准分布。比方说正态分布

，它的标准分布就是

。同样的，我们熟知的结论就是，如果

，那么

。

根据这个分布族，定义它的相似变换实际上也不困难。首先针对随机变量定义相似变换

，参数空间的导出群为

，下面考虑它们对应的判决函数和损失函数的导出群。这会有些不一样，比方说估计

和估计

很明显就不是一回事。所以我们如果针对广义上的

做估计，那么这个估计应该满足

（也就是说，你的

在做了相似变换，扩大了

倍之后，你对应的估计应该扩大

倍，才是合理的）。所以同变估计条件就会变为

，对应的损失函数因为要求

，所以我们会有

，因此它必须要是一个

的函数。

基本的概念铺垫完之后，为了采用同样的方法，导出同样的思路求解最优同变估计MREE，我们自然也需要不变量等等概念。不过我们只是简单列一下结论，因为没有必要说明太多。

Proposition 4: 1.

为相似不变量，也即

2. 相似不变量的充要条件为

，且此分布仅仅与

（也就是相似标准分布）有关。

3. 给定某一个相似同变估计

，它的任何相似同变估计都可以表示为

Proposition 5: 设

，则

是最小值点。

Proposition 5的证明方法，可以在证明Theorem 1的过程中找到，方法一模一样，这里也不用多说了。

Theorem 2: Pitman 2 设

为

的某一个相似同变估计，则均方损失下，

最优同变估计为

，其中

表示对标准分布求期望。

证明方法类似，设最优同变估计为

。我们写出

，有

利用Proposition 5容易得到最小值对应的

，之后的细节留给读者去完成吧。

当然，这里说的是

的同变估计，如果是

的最优同变估计MREE，那你就用它的某一个同变估计

去代替

就好。

针对相似变换族的问题，实际上解法和平移变换族一模一样。找到一个完备充分统计量，然后代入公式。我们用一个例子简单说一下。

Example 3: 设

独立同分布，

，求

的最优同变估计。

首先，这是一个相似变换族，所以我们求它的最优同变估计MREE，就是考虑相似变换族下的。注意它的完备充分统计量为

，并且标准分布为

，在这个时候，

，所以代入Pitman定理，可以得到

你看，并不困难。

相似变换群下的Pitman积分公式

在相似变换群下，事实上也有相对应的Pitman积分公式，但是这里的情况稍微复杂一点。我们在平移变换群中可以看到，我们的

是固定为那个表达式的。但是在这里，

中，第一项不是固定的，所以我们如果要求

，就需要周转一下，先考虑一下

，然后再根据

考虑一下

。

那么我们先来看看

，这个最关键就是要求

，我们注意到我们有

，所以这只是一个概率论的变量代换。相同的方法，考虑一下

那么类似的，可以得到

如果有了这个结果，那么下一步就是求解

。这可以分为两种情况：

。

如果说有

，那么为了方便求出密度，我们曲线救国考虑分布函数，也就是

（这是因为

对应的情况就是

）

求导即可得到

，其中

。

通过同样的方法，可以证明，如果

，可以得到

。

我们用这个结论来证明下面这个Pitman积分公式，它也是我们之后计算的工具。

Proposition 6: 设

服从尺度参数分布族

，那么

最优同变估计可以表示为

（注意这个

就是

联合概率密度）

你可以对比一下Proposition 3，它们的思路几乎一模一样。首先找到一个同变估计，在平移变换群是

，在这里是

，所以实际上就是要求

与

。

先考虑

的case，这个时候，容易得到

同样的，我们可以得到

，所以最后代入公式，我们可以得到

注意到每一个

的表达式，令

，稍微化简一下即可得到

因为我们的公式中，其实还隐含着一个部分就是

（注意Theorem 2）。这个在这里就是

，因为我们假设的

，所以这里也就是

，代回就可以得到我们最后的结果。至于

的情况，也是完全类似的。

好的，我们用一个例子来结束这一节。

Example 4: 设

独立同分布，

，求

最优同变估计。

因为我们的公式其实就是依赖一个联合概率密度对参数的积分，所以，先写出联合概率密度

记

，那么代入公式，其实就是

注意使用伽马函数代入哦。

小结

在这一节，我们简单地把平移变换群和相似变换群下对应的同变估计介绍完整了。其实大家也可以看出来，当你理解了同变估计的含义，并且掌握了平移变换群的基本原理，那么相似变换群，包括我们这一节没有涉及到的线性变换群的内容，其实都是大同小异了。

在韦博成的P123-128有线性变换群的内容，但是它的理论类似，计算方法类似，所以我们就不再这里多说。不过这不代表线性变换群的部分不重要，因此我们后面的习题还是会涉及到（不过具体的计算公式和结论肯定会给出来）。

下一节，我们会关注数理统计中，与信息量密切相关的C-R不等式和渐近正态性的内容。

——————————————————————————————————————

本专栏为我的个人专栏，也是我学习笔记的主要生产地。任何笔记都具有著作权，不可随意转载和剽窃。

个人微信公众号：cha-diary，你可以通过它来获得最新文章更新的通知。

《一个大学生的日常笔记》专栏目录：笔记专栏|目录

《GetDataWet》专栏目录：GetDataWet|目录

想要更多方面的知识分享吗？可以关注专栏：一个大学生的日常笔记。你既可以在那里找到通俗易懂的数学，也可以找到一些杂谈和闲聊。也可以关注专栏：GetDataWet，看看在大数据的世界中，一个人的心路历程。我鼓励和我相似的同志们投稿于此，增加专栏的多元性，让更多相似的求知者受益~