参考资料:
https://www.youtube.com/watch?v=XepXtl9YKwc
https://www.youtube.com/watch?v=66FqSpf1trA
动机(可跳过)
在学习Softmax时,我们知道一个实例被预测的每一类的概率是这样计算的:
其中f()函数是线性分类器,通过分类器会计算出每一类的分数(scores),随后通过上述公式将每一类的预测概率转化到(0,1)之间,并且所有预测的概率之和是1
损失函数计算如下:
于是,我们的目的是使Loss最小,也就是找到分类器的权重W,能够使得正确分类的概率的负对数最小化,也就是使正确分类的概率最大化,这可以看作使一个最大似然估计(MLE)问题
那么什么是MLE呢?
定义和易懂例子
先说定义,MLE指的是,找到能够使得定义的模型,观测到我们想要观测的事件的概率最大化,的参数
也就是说,我们终极目标使找到合适的模型参数,在此之前我们要明确想要观测的事件,以及选定模型
可以通过两个简单的例子来帮助理解
例子1:抛硬币
事件:抛四次硬币,我们想要观测到事件是: 正,正,反,正
模型:假设正的概率为P,反面的概率是(1-P), 那么得到的概率模型就是
那么我们的目的就是找到P的数值,使得事件发生的概率最大,通过计算得到P=0.75
这就是我们使用最大似然估计找到合适参数的例子。
例子2:观测小鼠体重
假设小鼠体重的分布是如下图片所示
模型:我们看到数据在中部集中,两端分散,很直观的会选择正态分布模型
事件:观测到尽可能多的小鼠体重
正态分布有两个重要参数,均值 μ 和方差 σ ,在这里假设方差固定,我们的目的就是找到合适的 μ ,使观测到尽可能多的小鼠重量的可能性尽可能的大。
每一条红线代表一种正态分布,横轴表示体重,竖轴代表观测到的体重对应的概率。在横坐标上从左到右移动正态分布,就是不断增加 μ
当移动到大概中间位置,我们发现观测到绝大多数的小鼠体重的概率最大,那么我们就找到了最合适的 μ
解决这个问题,就可以看作使用了最大似然(MLE)。