机器学习|点估计-矩阵计法（以k阶原点矩为例）| 15mins入门|概统学习笔记（二十五）

寻求估计量的方法

• 类别：
  1. 矩阵计法
  2. 极大似然法
  3. 最小二乘法
  4. 贝叶斯方法

(一) 矩阵计法：

思想：基于一种简单的”替换“思想建立起来的一种估计方法，用相应的样本矩估计总体矩。

理论依据：大数定律或格列汶科定理。

• 总体k阶原点矩为${\mu }_k=E(X^k)$

  样本k阶原点矩为$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$

  总体k阶中心矩为$v_k=E[X-E(X){]}^k$

  样本k阶中心矩为$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k$

• 定义：设总体的分布函数中含有k个未知参数${\theta }_1,...,{\theta }_k$，那么它的前k阶矩${\mu }_1,...,{\mu }_k$一般都是这k个参数的函数，记为：
  $${\mu }_i=g_i({\theta }_1,...,{\theta }_k)i=1,2,...,k$$
  从这k个方程中解出
  $${\theta }_j=h_j({\mu }_1,...,{\mu }_k)j=1,2,...,k$$
  那么用诸${\mu }_i$的估计量$A_i$（样本矩）分别替代上式中的诸${\mu }_i$，即可得诸${\theta }_j$的矩估计量：
  $${\hat{\theta }}_j=h_j(A_1,...,A_k)j=1,2,...,k$$

• 优点：简单易行，不要需要事先知道总体是什么分布

• 缺点：当总体类型已知时，没有充分利用分布提供的信息。一般场合下，矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替时带有一定的随意性

e.g 例1

设总体X的均值$\mu$及方差${\sigma }^2$存在，且$\sigma >0$。但$\mu 、{\sigma }^2$均为未知，又设$X_1,X_2,...,X_n$是来自X的样本，试求$\mu 、{\sigma }^2$的矩估计量。

（这里都用k阶原点矩求）

第一步：先求总体的前k阶矩（本题共有两个未知参数，故k=2）
$$\{\begin{array}{l}{\mu }_1=E(X)=\mu \\ {\mu }_2=E(X^2)=D(X)+[E(X){]}^2={\sigma }^2+{\mu }^2\end{array}$$
第二步：根据第一步求出的总体的前k阶矩构成的方程组，求解未知参数
$$\{\begin{array}{l}\mu ={\mu }_1\\ {\sigma }^2={\mu }_2-{\mu }_1^2\end{array}$$
第三步：用样本$(X_1,X_2,...,X_n)$的前k阶矩$(A_i)$代替总体的前k阶矩$({\mu }_i)$。同时，用矩估计量$(\hat{\mu },\widehat{{\sigma }^2})$代替总体的未知参数$(\mu ,{\sigma }^2)$

即令$A_i={\mu }_i(A_1={\mu }_1、A_2={\mu }_2),\hat{\mu }=\mu 、\widehat{{\sigma }^2}=\sigma$
$$\{\begin{array}{l}\hat{\mu }=A_1=\overline{X}\\ \widehat{{\sigma }^2}=A_2-A_1^2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2-{\overline{X}}^2=\frac{1}{n}{\sum }_{i=1}^n(X_i^2-{\overline{X}}^2)\end{array}$$
注：上式即为总体的均值、方差的矩估计量的表达式，它不因总体分布的不同而不同