参数估计

一。特点：

需要估计的整体概率密度可以使用一个‘表达式’（里面含有未知参数）表示，则参数估计的目的就是估计表达式的这些未知参数

二。分类：

• 点估计：

（1）矩估计

（2）极大似然估计

（3）EM

（4）贝叶斯估计

• 区间估计：相当于得到两次点估计，一个为下界，一个为上界，由此构成一个区间

三。点估计：

1、矩估计：

*********************************************************

‘矩’就是对均值、方差甚至协方差的一种估计

样本x的k阶原点矩：

注意上式是‘估计等于’

可知，一阶原点矩就是样本x的均值，可以用来作为x的期望的估计值

样本x的k阶中心矩：

注意上式是‘估计等于’

可知，二阶中心矩可以用来作为x的方差的估计值

样本k+l阶混合中心矩：

可见二阶混合中心矩就是cov（x，y）

**************************************************************************

（1）步骤：

只有1个未知参数：

用该未知参数导出期望

抽取n个样本计算一阶原点矩，然后二者相等解出未知

两个：

用该未知参数导出期望 ，抽取n个样本计算一阶原点矩，获得第一个等式

用该未知参数导出方差，该样本样本计算二阶中心矩，获得第二个等式

联立求解

（2）特征：

2、极大似然估计：

（1）步骤：

两边取对数

分别对每个未知数求偏导，令偏导=0

联立方程求解未知数

（2）特征：

对于含未知数表达式是连乘且有幂指数时，使用该方法

3、EM

参见‘EM算法’

4、贝叶斯估计：最大似然的未知数认为是定值，而贝叶斯估计认为未知数和样本服从同一分布

• 步骤：

（1）假设未知数和样本服从同一分布

也即我们已知下面这两项

（2）目的是求theta

使用公式：

这个估计值近似是未知数

**************************************************************************************

这个公式

证明：

**************************************************************************************

（3）所以需要先知道先验概率

于是通过贝叶斯公式：

• 例子：

• 特点：ml就是最大似然

\

四。区间估计：