理解极大似然估计

1 前言

  最大似然估计也可以称为极大似然估计，在机器学习（深度学习）中经常用来求解模型的参数。所以理解什么是最大似然估计，对机器学习和深度学习的进一步学习十分有帮助。

  此文为自己学习的记录，其中多有参考他人内容，一并在参考文献中给出参考链接。

2 似然估计的直觉（intuition）

  在统计学中似然函数又称（likelihood function，简称likelihood似然），是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。

  概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的。

  而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。

  简而言之，似然符合我们的一种直觉，即当一件事情发生之后，我们来推测使得这件事情发生最大可能的“原因”（这个使得事情发生的“原因”在似然估计中称为参数）。

3 似然举例

  我们假设硬币有两面，一面是“花”，一面是“字”。一般来说，我们都觉得硬币是公平的，也就是“花”和“字”出现的概率是差不多的。如果我扔了100次硬币，100次出现的都是“花”。在这样的事实下，我觉得似乎硬币的参数不是公平的。你硬要说是公平的，那就是侮辱我的智商。这种通过事实，反过来猜测硬币的情况，就是似然。而且，我觉得最有可能的硬币的情况是，两面都是“花”。
  根据上面的描述使得抛硬币产生不同结果的原因为硬币的正反花色问题，那么在这个问题中硬币的花色就是参数。由于抛硬币为二项分布，我们就可以列一个关于$\theta$方程：
$$L(\theta )=\left(\begin{array}{c}10\\ 6\end{array}\right){\theta }^6(1-\theta {)}^4$$
这个方程要表达的意思是在硬币的参数即$\theta$取什么样值的情况下，使得出现抛硬币出现花面的情况出现的最多。

我们绘制出关于方程的图像，可以从图中看出两点：参数为0.6时，概率最大；参数为0.5、0.7也是有可能的，虽然可能性小一点。
  所以更准确的说，似然（现在可以说似然函数了）是推测参数的分布。而求最大似然估计的问题，就变成了求似然函数的极值。在这里，极值出现在0.6。

4 总结

   极大似然估计就是在观测到事件出现的情况下推测使得这个情况出现的最大可能的原因。（前提是假设数据遵循某一个分布）

5 参考文献

[1]最大似然估计(Maximum likelihood estimation)(通过例子理解)
[2]如何深刻理解的最大似然估计
[3]如何通俗地理解“最大似然估计法”?
[4]人人都能看懂的EM算法推导