最大似然估计（Maximum likelihood estimation）

最大似然估计

最大似然估计是机器学习领域最为常见的用来构建目标函数的方法，它的核心思想是根据观测到的结果来预测其中的未知参数。

观测到的是 样本数据。需要估计的是 能够产生这些样本的 模型的参数。

待估计的参数 $\theta$ —> (产生) 观测到的样本。
待估计的参数 $\theta$ <—（估计) 观测到的样本。

假设未知参数为$\theta$，已知的样本为D，最大似然估计通过最大化 P(D|$\theta$) 来求解位置参数$\theta$.

投掷硬币的例子

假设有一枚硬币，它是不均匀的，扔硬币出现证明的概率是和出现反面的概率是不一样的。假设我们设定出现正面的概率是$\theta$，我们用H 来指正面（head), 用T 来标记反面(tail)，假设扔了6次，结果分别为 D= {H,T,T,H,H,H}, 求$\theta$?

通过扔硬币的结果D 来预测 $\theta$就是我们要解决的问题。这就是最大似然概率。

解答: 6次扔硬币中出现了4次正面，2次反面。 所以一目了然 $\theta$ = 4/6 = 2/3. （其实这个就是用的最大似然估计）
我们看最大似然估计的方法来求解：
第一步： 构造P(D|$\theta$) = P({H,T,T,H,H,H,H}|$\theta$) = (时间独立性) P(H|$\theta$)^4 * P(T|$\theta$)^2 = $\theta$^4 * (1-$\theta$)^2 <— f($\theta$)
第二步：求解f($\theta$)的最大值。
f($\theta$) = $\theta$^4 * (1-$\theta$)^2
f’($\theta$) = 4 $\theta$^3 * （1- $\theta$）^2 - 2(1- $\theta$) * $\theta$^4
设f’($\theta$) = 0 ，$\theta$ = 2/3