最大似然估计（ML）

1. 说明

　　最大似然估计(Maximum Likelihood Estimation, ML)是一种在给定观察数据情况下，来评估模型参数的算法。它属于一种统计方法，用来求一个样本集的相关概率密度函数的参数。
　　例如：
　　统计全校人口的身高，我们已知身高服从正态分布（模型已定），但是分布均值与方差未知（参数未知）。

1.1 算法概念：

　　“”模型已定，参数未知“”
　　给定：模型（参数全部或者部分未知），样本集。
　　估计：模型的未知参数。

1.2 核心思想：

　　我们所估计的模型参数，要使得产生这个给定样本的可能性最大。

1.3 算法前提（必须满足）：

　　假设所有的采样都服从独立同分布（Independent and identically distributed, i.i.d.）。
　　例如上面例子中，假设我们准备随机抽取50个样本，即学生，来测量身高作为样本集。这里样本抽取就要满足独立随机的概念。

2. 似然定义

2.1 似然函数：

　　在最大似然估计中，我们试图在给定模型下，找到最佳的参数，使得这组样本出现的可能性最大。似然函数定义如下：
　　

$$L(\theta |x_1,x_2,...,x_n) = f(x_1,...x_n|\theta)=f(x_1|\theta)\cdot f(x_2|\theta)\cdot ... \cdot f(x_n|\theta).$$
　　其中：
　　 $x_1,...,x_n$ 为独立同分布的样本采样，即数据集； $f$为所用模型； $\theta$为模型参数，待求。
　　似然函数是用来衡量从模型中产生这组样本的概率，所以怎样罗列似然函数的核心是，式子能表达出样本出现情况的概率，并且包含模型未知参数。当然，我这话说的有点像废话，实际中自己寻找罗列似然函数还是要下很大功夫的，需要找到问题概率式罗列的本质。

2.2 对数似然：

$$ln L(\theta |x_1,...,x_n)=\sum_{i=1}^n ln f(x_i|\theta)$$
但是实际应用当中，很少以模型函数式表达，多数以概率形式定义。如下：
$$ln L(\theta |x_1,...x_n)=\prod_{i=1}^n P(x_i;\theta )$$
平均对数似然则为：
$$\hat l = \frac{1}{n}lnL$$
最大似然为：
$$\hat{\theta_{mle}}=arg_\theta max \hat l (\theta | x_1,...,x_n)$$
[注]：对数操作将连乘变成了连加，然后这是一个无限制最优化问题，极值取在导数为0的地方。
即：
　　　　　　　　　　　 $\frac{\partial L(\theta)}{\partial \theta} =0$　或者　 $\frac{\partial ln L(\theta)}{\partial \theta} =0$

３. 总结

　　最大似然估计的基本思想：当从模型总体随机抽取ｎ组样本观测值后，最合理的参数估计量应该使得从模型中抽取该ｎ组样本观测值概率最大。而不像最小二乘旨在得到使得模型能最好地模拟样本数据的参数估计量。

4. 实际例子

---

个人学习记录，由于能力和时间有限，如果有错误望读者纠正，谢谢！

转载请注明出处：CSDN 无鞋童鞋