- 贝叶斯定理的公式为:
式中,D为待测试数据假设的类别,P(D|h)是h的似然概率,P(h|D)是h的后验概率,P(D)是D的先验概率。
贝叶斯理论提供了一种计算假设后验概率P(h|D)的方法,即后验概率与先验概率和似然概率的乘机成正比。
- 极大后验假设(Maximum A Posteriori,MAP):定义学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h。确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率,公式如下:
- 多维属性的联合概率则可以写成:
- 为解决计算时维度过高导致的数据稀疏问题,这里用独立性假设来解决,也就是假设D的属性之间相互独立:
- 贝叶斯分类器同时考虑了先验概率和似然概率的重要性。它具有以下几个特点:
- 属性可以离散,也可以连续;
- 数学基础坚实,分类效率稳定;
- 对缺失和噪声数据不太敏感;
- 属性如果不相关,分类效果很好。