贝叶斯分类算法及其概率论基础

理论基础：

1.先验概率：先验概率（prior probability）是指根据以往经验和分析得到的概率（典型的例子是概率论中应用题的已知条件），如全概率公式，它往往作为"由因求果"问题中的"因"出现。之所以称之为“先验”，是因为他不考虑任何B方面的因素。

2.后验概率：后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的。是“执果寻因”问题中的"果"。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。后验概率充分利用了先验知识和观测到的历史事件变量的信息。

3.P(A|B):由于得自B的取值而被称作A的后验概率；

   P(B|A):由于得自A的取值而被乘坐B的后验概率。

4.贝叶斯公式

5.全概率公式

6.贝叶斯法则

贝贝叶斯分类：

1.目标：求一个对象属于每一个类的概率，找概率最大的一个作为对象所属类别。

2.训练过程（以对文档进行分类为例，要分类的对象就是文档，特征就是文档中的单词或者其他有意义的合理的特征，这里以单词为例）：

(1).提取文档特征

(2).类别计算：

(3).计算单词的条件概率

注：2,3两步的计算互不牵扯，可以任意顺序计算。

2.分类过程：

(1).提取文档特征

(2).计算各类中出现该样本的概率：

(3).计算给定赝本属于某分类的条件概率：

(4).选出上边计算中概率最高的一个就行了。