机器学习笔记（二）矩估计，极大似然估计

1.参数估计：矩估计

样本统计量

设$X_1,X_2…X_n…$为一组样本，则
- 样本均值 :

$$\overline{X} = \frac{1}{n}\sum^n_{i=1}X_i$$
- 样本方差： $$S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2$$
样本方差的分布使用n-1而非n，是为了无偏
- k阶样本原点矩 (k=1时即均值) $$A_k = \frac{1}{n}\sum_{i=1}^nX_i^k$$

• k阶样本中心矩 (k=2时即方差) $$M_k = \frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^k$$

---

1.1矩估计

那么随机变量的矩和样本的矩，有什么关系？
换个提法：假设总体服从某参数为$\theta$（$\theta$为记号，无特殊意义）的分布，从总体中抽出一部分样本$X_1,X_2…X_n…$，如何去估计参数$\theta$？

---

假设样本是独立的
- 可以通过$X_1,X_2…X_n…$，利用前面样本统计量的公式计算样本的$k$阶矩，
- 当假设样本的$k$阶矩等于总体的$k$阶矩，可以估计出总体的参数$\theta$

这个就是矩估计.

• 我们设总体的均值为$\mu$，方差$\sigma^2$，（$\mu$和$\sigma^2$是未知的，待求）则有原点距表达式：

  f(x)={ E(X)=μE(X2)=Var(X)+[E(X)<