伽马分布极大似然估计_数理统计|笔记整理（4）——估计量的简单性质：矩估计，极大似然估计...

传送门：数理统计|笔记整理（3）——充分统计量

——————————————————————————————————————

大家好！

我们在上一节中给大家介绍了充分统计量，从信息论的角度出发，我们无法不承认充分统计量是一个利器。那么在这一节中，我们算是正式进入到了参数统计的部分。我们会给大家介绍参数估计的方法和通过相关方法得到的统计量的一些理论性质。为什么说我们会喜欢用这些方法来做统计推断？其背后均有良好的理论支撑。因此在这一部分，信息论的相关内容还会再次出现，并辅助支撑我们这一节的内容。

需要提一嘴的是，我们在《工科数理统计》中已经介绍过基本的参数统计的方法，但是我们更多强调的是直观性，而忽视了它的计算和理论（当然工科生可能也不需要知道它背后的理论是什么……）。因此相关内容我们会直接引用之前的笔记，而不会再一次在这里说明。

那么我们开始吧。

目录

• 估计量的三大性质
  • 相合性
• 矩估计
• 极大似然估计
  • 基本计算
  • 不变原理
  • 子集参数的似然

估计量的三大性质

考虑到这一篇笔记可能我需要多次引用我之前的《工科数理统计》，我先把它放在这里，到时候需要引用的时候我直接提一下就好了。

学弱猹：统计学笔记|数理统计知识点概要（2）​zhuanlan.zhihu.com

我们介绍了很多种统计量，包括次序统计量，包括辅助统计量等等。它们本质上都是为了估计参数。不过我发现，我们在之前没有给大家介绍一些常规的统计量（比如样本均值和样本方差），所以在这里我们把之前笔记的链接贴在这里供大家参考。

学弱猹：统计学笔记|数理统计知识点概要（1）​zhuanlan.zhihu.com

既然我们要考虑做参数估计，那么自然逃不开估计量这个概念。

Definition 1: Estimator
设

为来自总体的一个样本，那么用于估计未知参数

的统计量

即为

的估计量，也被称为

的点估计。

至于估计量的三大性质可以在那篇笔记中找到。但我们需要强调的是，在无偏性的部分，严谨的来写的话，应该写成

。因为我们可能只希望研究一个

，但是实际上我们可能有很多未知量。而这样的话，如果我们只希望考察部分参数的期望，那么实际上，求的就是

边缘期望。

在之前的笔记中我们没有给出相关的计算题，这里我们给一个和有效性与无偏性相关的计算题作为补充。

Example 1:
设

为来自均匀分布总体

的样本，证明

不是无偏估计，而

是，但是

比

更有效。

那么很明显我们关注的重点就在于

的密度函数。我希望你没有忘记公式，很容易得到

的密度函数为

所以很容易得到它的期望为

，所以并不是一个无偏估计，而你也可以轻松的看出来

才是无偏估计。那么有效性呢？其实也没有啥可比较的，因为

是一个大于1的因子，所以算方差肯定比

大，这就证完了。

相合性

这里单独说一下相合性的原因是，相合性的判断有自己的一个依据。这一点我们在之前的笔记中没有涉及到，所以在这里做一个补充。

Theorem 1:
设

是关于参数

的一个估计量，如果有

，那么

就是

的相合估计。

这里要注意的是，我们的

是指观测到

个样本之后，得到的估计量。一般我们的估计其实也会与样本的个数

产生关联。

这个证明不是特别容易，我们通过相合性的定义来看我们应该怎么说明这一件事。首先我们知道，它的定义为

，显然，如果你需要根据已有的条件证明这个不等式，常见的思路我们是考虑

构造一座桥，让它作为中介，去联接两个部分。

不知道大家知不知道切比雪夫不等式的相关内容，它大概就是这个意思

Lemma 1: Chebyshev Inequality