极大似然估计 极大后验估计 贝叶斯估计 最小二乘法

1 极大似然估计

极大似然估计(Maximum Likelihood Estimation, MLE)/最大似然估计/最大概似估计 是一种参数估计方法，即已知样本估计出模型的参数。

一般说来，事件A发生的概率与某一未知参数$\theta$有关，$\theta$取值不同，则事件A发生的概率 $P(A|\theta)$也不同，当我们在一次试验中事件A发生了，则认为此时的 $\theta$值应是参数t的一切可能取值中使 $P(A|\theta)$达到最大的那一个。极大似然估计法就是要选取这样的$\theta$值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大，即$P(A|\theta)$最大。即认为模型的参数是确定的，只是不知道而已，所以可以通过样本推断出模型参数。

求极大似然函数估计值的一般步骤：
（1） 写出似然函数；
（2） 对似然函数取对数，并整理；
（3） 求导数；
（4） 解似然方程 。

(1)似然函数的定义为：
$L(x_1,x_2,...,x_N|\theta_1,\theta_2,...,\theta_n)=L(x_1,x_2,...,x_N|\theta)$ $=L(\theta)=\prod_{i=1}^Np(x_i|\theta)$
其中，N为样本个数。 可以看出，似然函数就是假设已知参数的情况下得到观察样本的概率，就是通过参数为$\theta$的模型产生样本