极大似然估计和最大参数后验估计

概率是已知模型和参数，推数据；统计（似然）是已知数据，推模型和参数。对于函数

x表示某一个具体的数据；θ表示模型的参数。

如果θ是已知确定的，x 是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。

如果x是已知确定的，θ是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少

极大似然估计

极大似然估计是求参数θ，使似然函数最大。

极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！

换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

最大后验估计

最大后验估计则是使最大。

求得的不单单让似然函数大，自己出现的先验概率也得大。 （这有点像正则化里加惩罚项的思想，不过正则化里是利用加法，而MAP里是利用乘法）

MAP其实是在最大化,不过因为x0是确定的（即投出的“反正正正正反正正正反”），P(x0)是一个已知值，所以去掉了分母P(x0)（假设“投10次硬币”是一次实验，实验做了1000次，“反正正正正反正正正反”出现了n次，则P (x0) = n / 1000。总之，这是一个可以由数据集得到的值）。最大化的意义也很明确，x0已经出现了，要求θ取什么值使最大。顺带一提，即后验概率，这就是“最大后验概率估计”名字的由来。