数据挖掘笔记——贝叶斯学习

贝叶斯决策理论是朴素贝叶斯分类、贝叶斯信念网络、EM算法的基础。

特点：(1)每个观测值都可以提高/降低估计值 

          (2)先验知识可以和观测数据共同决定最终的假设概率

          (3)概率预测，可以提供假设好坏的度量

          (4)新实例可以结合多个假设的预测值，依概率加权

1.贝叶斯定理

   目的：学习到最优假设，即概率最大可能性最高的假设，这就是我们所说的最大后验假设（MAP）。

     那么概率如何计算？可以通过假设的先验概率P(h)，已知假设观察数据的概率P(D|h)，观察数据本身的概率P(D)，则通过观察实验后假设的后验概率P(h|D)可以通过下面式子计算得到。

那么得到的最优假设是

注：(1)后验概率还可以理解为经过数据观测后对假设概率的修正

    （2）对比极大似然估计(ML)，相当于是假设每个假设的概率P(h)相等

例：两个假设：患者得癌症，患者没有得癌症；两个测试结果：阳性，阴性；先验知识如下：