最大似然估计理解

最大似然估计：Maximum Likelihood Estimation，简称MLE；
要理解此概念首先要看下什么叫贝叶斯公式，如下：
$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$
我们把D看作是样本，$\theta$看作是这个样本所服从分布的参数，那么上式左侧$P(\theta |D)$可理解为：在给定样本D下，其服从参数为$\theta$的分布的概率，$P(D|\theta )$可理解为在给定参数$\theta$时，样本D发生的概率，$P(\theta)$为参数存在的概率，P(D)为样本发生的概率。
在实际应用中，我们希望从样本中总结出规律，即得到$\theta$。
按照上面的公式，即：求当$P(\theta )$最大时的$\theta$值。
$MAX(P(\theta |D))=MAX(\frac{P(D|\theta )P(\theta )}{P(D)})$，由于P(D)和P($\theta$)一定，则上式可简化为求$MAX(P(D|\theta))$，此即为最大似然估计,其中$P(D|\theta)$即为似然函数。
假设样本$X_{1},X_{2}...X_{n}$,独立同分布于$f(x,\theta_{1},\theta_{2}...\theta_{k})$，则其似然函数即为$X_{1},X_{2}...X_{n}$的联合概率分布：
$L(X_{1}X_{2}...X_{n})$=$\prod_{i=1}^{n}f(x_{i},\theta_{1},\theta_{2}...\theta_{k})$，
求似然函数取最大值时的参数，可通过令其二阶导数为0得到,通常两边先取对数，然后求导。