朴素贝叶斯笔记

朴素贝叶斯

1、设x={a1,a2,a3,…,am}为一个待分类的特征集合，
比如举个例子
{a1=”格子衬衫”,
a2=”头发蓬松混乱”,
a3=”黑眼圈、熊猫眼”,
a4=”神经质、睡眠不足”,
a5=”男性” ,
a6=”口臭” ,
a7=”运动鞋”,
a8=”键盘手”，
a9=”29岁”,
a10=”秃顶”}，判断他是否是程序猿。

2、有类别集合C={ y1,y2,y3,…,yn }。这里可以理解为是一个人的类别集合。
比如举个例子
{y1=”程序员”,
y2=”非程序员”
}

3、计算P(y1|x)，P(y2|x) ，P(y3|x) ，…，P(yn|x)。分别计算给定特征下，各个类别的条件概率。
接上面例子。
P(y1|x)=P(”程序员”|x)
P(y2|x)=P(”非程序员”|x)

4、如果P(yk|x)=max{ P(y1|x) ，P(y2|x) ，P(y3|x) ，…，P(yn|x)}，则x∈yk。比如分析出它是程序猿的概率是最大，那推测他就是。

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
2、统计得到在各类别下各个特征属性的条件概率估计。即
P(a1|y1) P(a2|y1) P(a3|y1) … P(am|y1)
…
P(a1|yn) P(a2|yn) P(a3|yn) … P(am|yn)

P(”格子衬衫”|”程序员”) P(”头发蓬松混乱”|”程序员”) … P(”秃顶”|”程序员”)
P(”格子衬衫”|”非程序员”) P(”头发蓬松混乱”|”非程序员”) … P(”秃顶”|”非程序员”)

3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：
P(yi | x) = P(x | yi) P(yi) / P(x) = P(a1|yi) * P(a2|yi) * P(a3|yi) … P(am|yi) * P(yi) / P(x) =

4、有如下计算，因为分母对于所有算式都一样为P(x)，因为我们只要将分子最大化皆可。
P(y1 | x) =

P(y2 | x) =

分子：

这样就把求解P(yk|x) 变成了P(x|yk) 这种已知的条件概率。

一、先从一个实际问题出发：

条件：碗1中有30个香草曲奇饼干和10个巧克力饼干，碗2中有上述饼干各20个。

问：闭上眼随机拿一块，拿到了香草曲奇，那么这块香草曲奇是从碗1中拿出的概率是多少？

A=拿到了香草曲奇
B=从碗1中拿出的
P(B | A) = 30 / 50 = 0.6
再根据朴素贝叶斯公式计算验证一下。
P(B|A) = P (A|B) * P(B) / P(A) = (30 / 40) * (40 / 80) / (50 / 80) = 3 / 8 * 8 / 5 = 0.6

朴素贝叶斯定理的证明过程。
P(A | B) 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：
P(A | B) = P(AB) / P(B)
用上面的例子验证一下，
P(A | B) = 30 / 40
P(AB) / P(B) = (50 / 80) * (30 / 50) / (40 / 80) = 30 / 40

条件概率 (conditional probability) 是指在事件 B 发生的情况下，事件 A 发生的概率。通常记为 P(A | B)。
P(A | B) = P(AB) / P(B)
P(B | A) = P(AB) / P(A)
P(AB) = P(A | B) P(B)
P(AB) = P(B | A) P(A)
P(A | B) P(B) = P(B | A) P(A)
P(A | B) = P(B | A) P(A) / P(B)