最大似然估计（MLE）和贝叶斯估计（BE）

最大似然估计（MLE）和贝叶斯估计（BE）

 

在深度学习那么火之前，许多算法，都会在inference阶段用到最大似然估计或者最大后验概率估计，这些都机器学习中最最最基本的东西，就像地基一样，虽然现在深度学习仍然用到这些知识，就像NLL、Cross Entropy 等loss function的本质就是这些估计，但是由于现在那些pytorch、tensorflow等深度学习的框架出来后，这些函数都封装好了，一句简单的调用就可以实现。这样许多人就懒得去管这些函数的本质，之前有遇到过一个同学，在做分类问题的时候，softmax函数的作用是什么都不知道。在pytorch中有些loss function 是有自带softmax的，有一些又没有，需要自己手动加。softmax的作用就是赋予输出概率的意义，其实就是一个归一化的作用，所有的概率之和要为1。而二分类的问题loss function是不需要用到softmax的，那是因为另一个用1去减了这个输出值，所以本来就满足所有概率之和为1的条件。有些同学就不知道什么意义，看到别人在二分类用的loss function，就直接拿过来在多分类那里用。

因此，今天就在这里介绍这个机器学习中很重要的基石，最大似然估计和贝叶斯估计。

在机器学习中，模型，参数，泛化，三个步骤，模型就是建模的阶段，你要什么办法解决这个问题；参数就是模型里面的参数，可以学习，也可以推理；最后泛化就是要把学习好的模型和参数泛化到未知的样本的中。其中这些估计就是求参数的部分，在概率图模型中，这部分也叫做inference。

先介绍MLE和BE的区别&#