数学原理-高等数学复习笔记 ——2.0 MLE最大似然估计 ，最大后验概率估计，交叉熵代价函数，softmax

在学习线性回归，逻辑回归等等，我们都会遇到最大似然估计，我相信看到这篇文章的你已经看过很多关于最大似然估计的文章，但如果你想真正搞清楚最大似然估计是做什么的，推荐你读一读这篇文章

最大似然估计

挂上知乎链接，再说点自己的理解

知乎专栏-搞懂似然估计

想理解，我觉得需要先明确一下概率与统计的区别，相信会让读者更有画面感

概率：已知模型和参数，预测产生的结果怎么样。比如你学最大似然估计（模型），学习哪些文章（参数），预测能不能学会，学到什么程度（结果）

统计：统计恰恰相反，是使用数据去预测模型和参数，我先看看你的脑袋瓜学了什么，发现你学了 最大似然估计，那我就确定了模型(你学习最大似然估计），然后再进一步分析现有的数据，猜测你是通过哪一篇文章学会了最大似然估计。

其中，也是通过数据来推测模型是不是按照某种函数分布，高斯分布，指数分布，拉普拉斯分布等等

而 最大似然估计 （MLE） 最大后验概率估计（MAP）都是用来推测参数的方法。想理解这两种方法，需要先理解一下贝叶斯公式

具体详情可以通过这篇文章（贝叶斯）了解。但如果不想花太多时间，可以继续看本文章

先列出公式

先说明一下符号意义，P（A|B）表示 B 发生后，A发生的概率，

把这三个部分分为三个部分，方便后面理解 MLE

先验概率：代表不管 B 条件，A 事件发生的概率。

可能性函数：表示事件 A 发生后 B 事件的可能性，再除以 B，假如大于 1 的话，说明 B 事件被 A 事件增强了概率。

后验概率：B 事件发生过后，我们对 A 概率的重新评估。

好了，贝叶斯到这里就及时打住

我们来讲讲似然函数

似然函数

在这直接附上一篇文章的讲解（似然估计函数）

再讲讲上面这段话，换一种形式，x表示事件，表示概率，我们可以根据数据推算概率，也可以直接知道概率，那就将似然函数转化为概率函数

最大似然估计（MLE）

这里我改用一个比较合适的例子，若有一个箱子，里面有 十个球，分别有黑球和白球，但我们不知道数量有多少

我们每次拿一个球出来再放回去，拿了十次。发现有 7 次白球。这是二项分布，

 在 01 之间。这个时候，箱子里的白球分布，其实有很多可能，可能有1个白球啊，你一直摸这个球，但啥叫最大似然估计啊，那不就是求最大值嘛。那不得取按照数据分析出来的最大概率的分布，7个白球，3个黑球。那我们就要让 f 的导数等于 0.即，=0.7

最大后验概率估计

数学看久了就有点脑子疼，下次写（下次一定写完）