最大似然估计

给定一个概率分布$D$,已知其概率密度函数（连续分布）或概率质量函数（离散分布）为$f_D$,以及一个分布参数$\theta$,我们可以从这个分布中进行$n$次采样：
$P(x_1,x_2,\cdot \cdot \cdot ,x_n)=f_D(x_1,\cdot \cdot \cdot ，x_n|\theta )$
但是，我们可能不知道$\theta$的取值，这时我们可以通过上面的$n$次采样估算出$\theta$

用一个例子来说明：
假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率如下：
$f(x_1,x_2|\theta )=f(x_1|\theta )\ast f(x_2|\theta )$
$x_1$为第一次采样，$x_2$为第二次采样，$f$为模型，$\theta$为模型参数
其中$\theta$是未知的，因此，参数$\theta$的定义为：
$L(\theta |x_1,x_2)=f(x_1,x_2|\theta )={\prod }_{i=1}^{2}f(x_i|\theta )$
两边取ln，取ln是为了将右边的乘号变为加号，方便求导
$lnL(\theta |x_1,x_2)=ln{\sum }_{i=1}^{2}f(x_i|\theta )={\sum }_{i=1}^{2}lnf(x_i|\theta )$
然后平均对数似然
$\hat{\vartheta }=\frac{1}{2}lnL(\theta |x_1,x_2)$
最大似然估计的过程，就是找一个合适的$\theta$，使得平均对数似然的值为最大。因此，可以得到以下公式：
${\hat{\theta }}_{mle}=argmax\hat{\vartheta }(\theta |x_1,x_2)$
这里讨论的是2次采样的情况，当然也可以拓展到多次采样的情况：
${\hat{\theta }}_{mle}=argmax\hat{\vartheta }(\theta |x_1,x_2，\cdot \cdot \cdot ，x_n)$
我们定义M为模型（也就是之前公式中的f），表示抽到白球的概率为$\theta$，而抽到红球的概率为($1-\theta$)，因此10次抽取抽到白球7次的概率可以表示为：
$P(x_1,x_2,\cdot \cdot \cdot ，x_{10}|M)=P(x_1|M)\cdot \cdot \cdot \times P(x_{10}|M)={\theta }^7(1-\theta {)}^3$
将其描述为平均似然可得：
$\hat{\vartheta }=\frac{1}{10}lnP(x_1,x_2\cdot \cdot \cdot x_{10}|M)=\frac{1}{10}ln[{\theta }^7(1-\theta {)}^3]$
然后对$\theta$进行求导，另导数等于0
$\hat{\vartheta }=7{\theta }^6(1-\theta {)}^3-3{\theta }^7(1-\theta {)}^2=0$
得到$\theta$=0.7