怎么理解最大似然估计（Maximum Likelihood Estimation， MLE）

参考资料：

https://www.youtube.com/watch?v=XepXtl9YKwc

https://www.youtube.com/watch?v=66FqSpf1trA

动机（可跳过）

在学习Softmax时，我们知道一个实例被预测的每一类的概率是这样计算的：

其中f()函数是线性分类器，通过分类器会计算出每一类的分数(scores)，随后通过上述公式将每一类的预测概率转化到(0,1)之间，并且所有预测的概率之和是1

损失函数计算如下：

于是，我们的目的是使Loss最小，也就是找到分类器的权重W，能够使得正确分类的概率的负对数最小化，也就是使正确分类的概率最大化，这可以看作使一个最大似然估计(MLE)问题

那么什么是MLE呢？

定义和易懂例子

先说定义，MLE指的是，找到能够使得定义的模型，观测到我们想要观测的事件的概率最大化，的参数

也就是说，我们终极目标使找到合适的模型参数，在此之前我们要明确想要观测的事件，以及选定模型

可以通过两个简单的例子来帮助理解

例子1：抛硬币

事件：抛四次硬币，我们想要观测到事件是： 正，正，反，正

模型：假设正的概率为P，反面的概率是（1-P）， 那么得到的概率模型就是

那么我们的目的就是找到P的数值，使得事件发生的概率最大，通过计算得到P=0.75

这就是我们使用最大似然估计找到合适参数的例子。

例子2：观测小鼠体重

假设小鼠体重的分布是如下图片所示

模型：我们看到数据在中部集中，两端分散，很直观的会选择正态分布模型

事件：观测到尽可能多的小鼠体重

正态分布有两个重要参数，均值 μ 和方差 σ ，在这里假设方差固定，我们的目的就是找到合适的 μ ，使观测到尽可能多的小鼠重量的可能性尽可能的大。

每一条红线代表一种正态分布，横轴表示体重，竖轴代表观测到的体重对应的概率。在横坐标上从左到右移动正态分布，就是不断增加 μ

当移动到大概中间位置，我们发现观测到绝大多数的小鼠体重的概率最大，那么我们就找到了最合适的 μ

解决这个问题，就可以看作使用了最大似然(MLE)。