极大似然估计

一、前言

• 似然估计是最传统、使用最广泛的参数估计方法之一，而参数估计是机器学习里面的一个重要主题。
• 对于一系列观察数据，可以找到一个具体分布来描述，但不清楚分布的参数。这时候就需要用极大似然估计来求解这个分布的参数。
• 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”

二、概述

1.本质：对于极少的样本观测，极大似然估计认为，观测到的样本就是发生概率最大的。
2.似然函数：前提是样本独立同分布，似然函数$L(p)$是每个样本出现概率的乘积p(xi)。
3.极大似然估计的思想：让似然函数$L(p)$的值最大，把这时对应的概率$p$作为我们的估计值。

求一阶导数得到似然函数的最大值点p：$\frac{dL(p)}{dp}=0$

4.极大似然估计蕴含了估计量的泛函不变性、相合性、渐近有效性和渐进正态等诸多逆天的性质。
5.极大似然估计暗合了切比雪夫大数定律，所以在用“局部估计整体”时，可以说使用了极大似然估计法，也可以说根据大数定律。

三、具体步骤

1.似然函数

大似然估计值$\hat{\theta }$都满足：$L(\hat{\theta })=\max L(data|\theta )$,data=(x1,x2,…,xn)表示样本数据的集合，θ=(p1,p2,…,pn)是参数(概率)的集合，例如抛硬币就只有正面反面两个概率 [公式]，投掷骰子就有六个面的六个概率
其中，对于离散型随机变量的似然函数是： L ( d a t a ∣ θ ) = ∏ i = 1