频率学派还是贝叶斯学派？聊一聊机器学习中的MLE和MAP

作者：夏飞
Google | 软件工程师
量子位 已获授权编辑发布
转载请联系原作者

本文作者夏飞，清华大学计算机软件学士，卡内基梅隆大学人工智能硕士，现为谷歌软件工程师。

在这篇文章中，他探讨了机器学习中的MLE和MAP两大学派的争论。

• 频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计)

• 贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)

概述

有时候和别人聊天，对方会说自己有很多机器学习经验，深入一聊发现，对方竟然对MLE和MAP一知半解，至少在我看来，这位同学的机器学习基础并不扎实。难道在这个深度学习盛行的年代，不少同学都只注重调参数？

现代机器学习的终极问题都会转化为解目标函数的优化问题，MLE和MAP是生成这个函数的很基本的思想，因此我们对二者的认知是非常重要的。这次就和大家认真聊一聊MLE和MAP这两种estimator。

两大学派的争论

抽象一点来讲，频率学派和贝叶斯学派对世界的认知有本质不同：频率学派认为世界是确定的，有一个本体，这个本体的真值是不变的，我们的目标就是要找到这个真值或真值所在的范围；而贝叶斯学派认为世界是不确定的，人们对世界先有一个预判，而后通过观测数据对这个预判做调整，我们的目标是要找到最优的描述这个世界的概率分布。

在对事物建模时，用θ表示模型的参数，请注意，解决问题的本质就是求θ。那么：