极大似然估计

极大似然估计

martin

---

极大似然估计基本原理：最大化似然函数

定义：假设样本$\{X_1,X_2,...X_n\}$服从概率密度函数$f_\theta(x)$。其中，$\theta = (\theta_1,\theta_2,...\theta_k)$是未知参数。当固定$x$的时候$f_\theta(x)$就是$\theta$的函数，我们把这个函数称为似然函数，记为$L_x(\theta)$或者$L(\theta)$。

$\color{red}{注意}$：似然函数不是概率，但是很类似于概率。当$\theta$给定的时候，他是概率密度。当$x$给定的时候，$\theta$变化的时候。他就类似于在表示在这个观测量$x$的条件下，参数等于$\theta$的可能性(不是概率)，起个名字叫做似然函数。举个例子，有：

$$L(\theta_1)<L(\theta_2)$$ 那么我们就可以说
$$P(\theta=\theta_1)<P(\theta=\theta_2)$$

---

假设$x=(x_1,x_2,...x_n)$是样本的观测值，那么整个样本的似然函数就是：

$$L_x(\theta) = \prod_{i=1}^{n} {L_{x_i}(\theta)}$$
这是一个关于 $\theta$的函数，选取使得 $L_x(\theta)$最大化的 $\hat{\theta}$作为 $\theta$的估计量。

最大化似然函数$\theta$，相当于最大化似然函数的对数：$l_x(\theta) = log(L_x(\theta))$。一般我们求解似然函数或者对数似然函数的驻点方程为：

$${dl(\theta)\over d\theta} = 0$$
然后判断这个驻点是否是最大点(求驻点可以用牛顿法或者梯度下降法等等)。