1.贝叶斯定理(Bayes' theorem)
描述的是关于随机事件A和B的条件概率。一般情况下,事件A和在事件B发生的条件下的概率,与事件B在时间A发生的条件下的概率是不同的,但这两者之间是存在一定的关系的,贝叶斯定理描述的就是这种关系。记L(A|B)在B发生的条件下A发生的概率。
术语:
(1) p(A)事件A发生的概率
(2) p(A|B)在事件B发生的条件下,A发生的概率
(3) p(B|A)在事件A发生的条件下,B发生的概率
(4) p(B)事件B发生的概率
(5) p(AB)事件A和事件B同时发生的概率
Base formula:
P(A|B) = p(AB)/p(B)
Bayes' theorem:
p(B|A) = p(A|B)p(B)/p(A)
2.朴素贝叶斯分类(Naive Bayes)
待分类项:x = {a1, a2, ..., an}为一个待分类项,其中每个a为x的一个特征属性
类别集合:C = {y1, y2, ..., ym}
Naive Bayes Classification计算过程:
阶段一:数据准备
(1) x,其特征属性为a1, a2, ..., an
(2) 样本集:(x1, x2, ..., xk)
阶段二:训练阶段
(1) 计算每个类别发生的概率p(yi)
(2) 计算各个类别下各个特征属性的条件概率p(aj/yi)
阶段三:预测阶段
(1) 计算样本属于每个类别的概率p(x|yi)p(yi)
(2) 取最大项作为x的类别max(p(x|yi)p(yi))