学了一点贝叶斯

参考资料：《人工智能 一种现代方法》

这两天看了一点贝叶斯，随便写两句。。。

关键的基础知识：条件概率，全概率公式，贝叶斯公式

贝叶斯学习

最大后验假设（MAP）—— 对贝叶斯学习的近似，将概率求和问题转换为了最优化问题

最大似然假设（ML）—— 假设先验初始分布为等概率分布

问题从上到下依次简化。

隐变量学习：EM算法

对于贝叶斯网络

E步骤：用现有的参数值计算后验概率（期望计数）

M步骤：重新计算参数的值

M步骤往往是极大化对数似然值的结果，有时需要使用拉格朗日乘数法，简单情形就是直接求导。