一知半解的极大似然估计

    极大似然估计，很多人会解释为已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！

    这句话乍一看有些抽象，不妨解释为：已知某一模型输出的样本结果，其模型参数未知，通过一种方法反推最有可能使模型输出该结果的参数值。这种方法，即“极大似然估计”

换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”，这不正是机器学习的常态吗？我们得到了样本结果，通过训练来反推模型的超参数，训练的过程则蕴含了极大似然的思想。

可能有小伙伴就要说了，还是有点抽象呀。这里引用B站UP主“小崔说教”的举例。

举例：

    一个袋子里有很多个小球，小球有两种，一种是1号球，第二种是2号球。小球数量足够多，可不考虑有无放回。某次抽样的结果为：1，1，2，1，2。 问，袋子里1号球的占比是多少？2号球占比是多少？

    大家第一反应一定是3/5和2/5，那么理论依据是什么呢？

    由上图可知，不妨将抽到一号球的概率设为$\theta$,则对立的，抽到2号球的概率为 $1-\theta$，那么出现1，1，2，1，2这种抽样结果的概率为$\theta \ast \theta \ast (1-\theta )\ast \theta \ast (1-\theta )={\theta }^3(1-\theta {)}^2$。那么问题可转化为，$\theta$取什么值才最有可能使模型输出1，1，2，1，2的结果呢？也就是$\theta$取什么值，${\theta }^3(1-\theta {)}^2$对应的期望最大呢？

    方法当然是：求导！

求导过程忽略（可取对数进行求导），最终的结果$\theta =\frac{3}{5}$，与我们根据“莫名的常识”得出的结果一致！

    上述环节对应到机器学习亦是如此，样本集已知，通过损失函数的反向传播（反向求导）的过程找到了最有可能使模型输出样本集分布的模型参数（即权重）。这本质是一种极大似然的思想！