先验概率和后验概率_先验概率，后验概率和似然函数简单解释

举例说明：

某硬币的投掷结果服从分布

。实验中， 该硬币被投掷了6次，结果是

={H,H,T,H,T,H}，求参数

该问题下的先验概率是

，意义是“你觉得

是多少”；

后验概率是

，意义是“学习结果

以后，你觉得

是多少”；

条件概率

的意义则是“在参数为

的前提下，实验结果为

的可能性”。

给定结果

，参数估计问题本质上也就是

对

的最优化问题（why not

？后面就知道了），所以此处引入似然函数，便于根据结果

估计对应的最优

。

(1)

因为根据贝叶斯定理，先验概率和后验概率满足：

(2)

所以(1)代入(2)，并且

视作常数的条件下，(2)进一步可以写成

（3）

根据频率学派的观点，参数

是固定的，不受影响的，所以

。据此，(3)可以再进一步写成：

(4)

因为似然函数正比于条件概率，所以对似然函数的优化相当于对条件概率的优化。此处似然函数可以展开为：

变成log-likelihood优化即可，不再赘述