极大似然估计、最大后验估计、贝叶斯估计的异同

本文主要是为了区分极大似然估计、最大后验估计、贝叶斯估计的异同。对三种方法的详细步骤不做阐述。

贝叶斯公式：分母的全概率公式是用来求P（B）

B为观测变量，A为待求参数。

极大似然估计：
极大似然估计认为A为一个常数，于是P（A）=1.
而且它只需求出最大值所在的点，因此求导为0即可。

解释一下
‘’‘
如抛硬币5正4负，设正面概率为p，则
F（p）=a * p^5 * (1-p)^4
式中p的阶数5和 1-p的阶数4均为观测的参数
a为与待求参数无关的部分（对求p的导无影响）
此时对p求导令其为0求取得极值的p即为我们要求的p。
’‘’
回到整体

最大后验估计：
认为参数A亦服从一分布，但是其求出来的参数也是为一个数字，只不过P（A）不为1变成了一个概率分布（先验概率）。其还是求最大值，因此还是求导为0即可，因为我们只需要求出导数为0（取得最值）的点，因此与所求参数无关的例如贝叶斯公式的分母P（B），我们完全可以忽略令其为一个常数即可。

贝叶斯估计：
贝叶斯估计也认为参数A服从一先验分布，但是求出的参数A不是一个具体的数字了，而是一个分布，因此此时我们不能用简单粗暴的直接求导求解，贝叶斯公式所有的部分我们均需要求解，因此之前极大似然/后验估计中我们忽略的P（B）就要纳入考虑。之前不考虑是因为我们只需要对参数求导为0。原先的式子变成了一个关于参数的函数例如F（A）。

此时贝叶斯公式：

分母的P（B）则可用全概率公式求解，如图所示表示的是离散的变量，连续的变量则用积分，原理一样。
P（A）还为先验的关于A的分布。P（B|A）为观测到样本的似然函数。
此时我们求参数A，没有求出来一个具体的数值，而是求出来了一个概率分布。