矩估计法

本文摘自《概率论与数理统计》 陈希孺著 中国科学技术大学出版社
相关链接
参数的点估计问题
极大似然估计

前言

矩估计法是点估计方法的一种，点估计法还有极大似然估计法和贝叶斯估计法。详情请参考上面的链接。

矩估计法

矩估计法是皮尔逊在19世纪末到20世纪初的一系列文章中引进的。这个方法的思想很简单：设总体分布为$f(x; \theta_1, \cdots, \theta_k)$，则它的矩（原点矩和中心矩都可以，此处以原点矩为例）
连续型：

$\alpha_m = \int_{-\infty}^{\infty}x^m f(x; \theta_1, \cdots, \theta_k)d_{x}$

离散型：

$\alpha_m = \sum\limits_{i = 1}^{n}x_i f(x_i; \theta_1, \cdots, \theta_k)$

依赖于$\theta_1, \cdots, \theta_k$。另一方面，至少在样本$n$较大时，$\alpha_m$又应接近于样本原点矩$a_m$。于是

$\alpha_m = \alpha_m(\theta_1, \cdots, \theta_k) \approx a_m = \sum\limits_{i = 1}^{n}\frac{X_i^m}{n}$

取$m = 1, \cdots, k$，并将上面的近似式改成等式，就得到一个方程组：

$\alpha_m(\theta_1, \cdots, \theta_k) = a_m\,, \quad (m = 1, \cdots, k)$

解此方程组，得其根$\hat{\theta_i} = \hat{\theta_i}(X_1, \cdots, X_n)\ (i = 1, \cdots, k)$，就以$\hat{\theta_i}$作为$\theta_i$的估计$(i = 1, \cdots, k)$。如果要估计的是$\theta_1, \cdots, \theta_k$的某个函数$g(\theta_1, \cdots, \theta_k)$，则用$\hat{g}(X_1, \cdots, X_n) = g(\hat{\theta_1}, \cdots, \hat{\theta_k})$去估计它。这样定出的估计量就叫矩估计。

矩估计在各种分布中的应用

正态分布

设$X_1, \cdots, X_n$是从正态总体$N(\mu, \sigma^2)$中抽出的样本，要估计$\mu$和$\sigma^2$。$\mu$是总体的一阶原点矩，按矩估计，用样本的一阶原点矩即样本的均值$\overline{X}$去估计。$\sigma^2$是总体方差，即总体的二阶中心距，可用样本的二阶的二阶中心矩$m_2$去估计。一般地，在估计方差时候常用样本方差$S^2$而不用$m_2$，即对矩估计做了一定的修正。
如果要估计的是标准差$\sigma^2$，则由$\sigma = \sqrt{\sigma^2}$，按矩估计法，它可以用$\sqrt{m_2}$去估计，一般用$\sqrt{S^2} = S$去估计，或者还做点修正。又当$\mu \ne 0$时，（特别在$\mu > 0$时，在有些问题中，$\mu$虽然未知，但事先可知道$\mu > 0$。比如某个班级的平均成绩，它必然会大于0，因为没有人会考负分，全班也不太可能考0分），$\sigma / \mu$称为总体的变异系数，变异系数是以均值为单位去衡量总体的标准差。在有些问题中，反映变异程度的标准差意义如何，要看总体均值$\mu$而定。比如一大群人收入的标准差为50元，若其平均工资只有70元，则这个变异系数可算很大了；但若平均工资为850元，则这个变异程度就不算大了。所以，变异系数$\sigma / \mu$不过是一定意义上的“相对误差”，按矩估计法，为估计$\sigma / \mu$可用$\sqrt{m_2} / \overline{X}$,一般用$S / \overline{X}$。

指数分布

设$X_1, \cdots, X_n$是从指数分布总体中抽出的样本，要估计参数$\lambda$的倒数$\frac{1}{\lambda}$。根据指数分布的特点，我们知道$\frac{1}{\lambda}$就是总体分布的均值，故按矩估计法，就用$\overline{X}$去估计。如要估计的是参数$\lambda$本身，就用$\frac{1}{\overline{X}}$去估计。
另一方面，指数分布的方差为$\frac{1}{\lambda^2}$，即$\frac{1}{\lambda} = \sqrt{总体二阶中心矩}$。按矩估计法，$\frac{1}{\lambda}$也可以用$\sqrt{m_2}$（或$S$）去估计。

均匀分布

设$X_1, \cdots, X_n$是从区间$[\theta_1, \theta_2]$上均匀分布的总体中抽出的样本，要估计$\theta_1, \theta_2$。
我们知道，均匀分布的均值、方差分别是$\frac{(\theta_1 + \theta_2)}{2}$和$\frac{(\theta_2 - \theta_1)^2}{12}$。因此，按矩估计法，建立方程

$\overline{X} = \frac{(\theta_1 + \theta_2)}{2}, \qquad m_2 = \frac{(\theta_2 - \theta_1)^2}{2}$

得出$\theta_1, \theta_2$的解分别为

$\hat{\theta} = \hat{X} - \sqrt{3m_2}, \qquad \hat{\theta_2} = \overline{X} + \sqrt{3m_2} \qquad$ 公式（1）

也可以用$S$代替$\sqrt{m_2}$

二项分布

设总体有二项分布$B(N, p)$，$X_1, \cdots, X_n$为从该总体中抽出的样本，要估计$p$，矩估计为$\overline{X} / N$。
我们知道，

$\overline{X} = Np\,, \quad m_2 = Np(1- p)$

根据上面的式子，我们可以得到$p = \overline{X} / N$，当然也可用$m_2$来求。

泊松分布

设总体有泊松分布$P(\lambda), X_1, \cdots, X_n$为从该总体中抽出的样本，要估计$\lambda$。
由于$\lambda$是总体分布的均值，按矩估计法，可用样本均值$\overline{X}$去估计；另一方面，$\lambda$也是总体分布的方差，故按矩估计法，也可以用$m_2$或$S^2$去估计。在这里，用均值$\overline{X}$为优。在一般的情况下，能用低阶矩处理的就不用高阶矩。