envi最大似然分类_闲谈最大后验概率估计（MAP estimate）&极大似然估计（MLE）和机器学习中的误差分类...

上一篇文章中提到了一个有趣的实验，简单来说就是1-100中有若干个数字是“正确的”，只告诉其中一部分“正确的”数字，去猜全部“正确的”数字。

为了严谨的去研究这个问题，我们需要将一些概念进行抽象。首先，把提前告知的其中一部分“正确的”数字定义为样本

，全部“正确的”数字定义为假设

，我们想要做的就是在给定样本下找到最适合的假设。

这里需要说明一点，由以上定义容易发现

，但是为了一般性，暂时不做

的假设。

有了前面这些准备，我们就可以给出likelihood的定义：

，即给定假设下样本发生的概率。对于离散化的问题，如前面提到的那个实验，公式还可进一步写成：

，

为样本数。为了引入极大似然估计这个概念，我们需要提前约定包含所有假设

的假设空间为

。

所以，极大似然估计（MLE）就是在

中找到一个

使得likelihood达到最大，公式写成

。MIT教授Joshua Brett Tenenb