最大似然估计

最大似然估计

设有分布$f(x,\theta)$ ,其中$\theta$为未知参数。已知服从该分布的样本 $x_1,x_2,...,x_n$，则可以求出当$\theta$为何值时，出现$x_1,x_2,...,x_n$这n个样本的概率最大。也就是，在已知实验结果（即样本）的情况下，估计满足这些样本分布的参数，把可能性最大的那个参数$\theta$作为真实参数$\theta^*$的参数估计。这种参数估计方法称为最大似然估计。
$x$与$\theta$的联合概率密度函数为：

$$L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_k)=\prod_{i=1}^{n}f(x_i;\theta_1,\theta_2,...,\theta_k)$$
称为似然函数，使得似然函数取得最大值的参数 $\theta$，就是使用最大似然估计求得的真实参数的估计值。

求最大似然函数估计值的一般步骤：
（1）写出似然函数
（2）对似然函数取对数并整理为对数似然
（3）求导数
（4）解似然方程

例1：二项分布的最大似然估计
假定事件出现的概率为$p$（未知参数），进行N次实验，事件出现n次。
（1）似然函数：

$$f(n|p) = p^n(1-p)^{N-n}$$
（2）对数似然：

$$h_p = ln(p^n(1-p)^{N-n})$$
（3）求导数： $$\frac{\partial h_p}{\partial p} =\frac{n}{p}-\frac{N-n}{1-p}$$
（4）求似然方程
令 $\frac{\partial h_p}{\partial p} =0$，即
$$\frac{n}{p}-\frac{N-n}{1-p} = 0$$
解得： $$p=\frac{n}{N}$$

例2：正态（高斯）分布的最大似然估计
给定一组样本$x_1,x_2,...,x_n$，已知它们服从正态分布$N(\mu,\sigma)$，试估计参数$\mu,\sigma$。
（1）似然函数：
$\because$ 正态分布的概率密度函数为

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
$\therefore$ 似然函数为：
$$L(x;\mu ,\sigma )=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
（2）对数似然
$$l(x)=ln\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
$$=\sum_{i=1}^{n}ln\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
$$=\sum_{i=1}^{n}ln\frac{1}{\sqrt{2\pi }\sigma }+\sum_{i=1}^{n}-\frac{(x-\mu)^2}{2\sigma^2}$$
$$=-\frac{n}{2}ln(2\pi\sigma^2)- \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2$$
（3）求导数，分别对 $\mu$和 $\sigma$求偏导
对 $\mu$求偏导：
$$\frac{\partial l}{\partial \mu} = -2*-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)$$
令 $\frac{\partial l}{\partial \mu} = 0$，解得
$$\mu = \frac{1}{n}\sum_{i=1}^{n}x_i$$
对 $\sigma^2$求偏导：
$$\frac{\partial l}{\partial \sigma^2} = \frac{-n}{2\sigma^2}-\frac{-1}{2\sigma^4}\sum_{i=1}^{n}(x_i-\mu)^2$$
令 $\frac{\partial l}{\partial \sigma^2} =0$，解得
$$\sigma^2 = \frac{1}{n} \sum_{i=1}^{n}(x_i-\mu)^2$$
称为伪方差。
真实方差： $$\sigma^2 = \frac{1}{n-1} \sum_{i=1}^{n}(x_i-\mu)^2$$