机器学习：朴素贝叶斯

朴素贝叶斯是一个分类器

我们现在用p1(x,y)表示数据点(x,y)属于类别1（圆）的概率，用p2(x,y)表示数据点(x,y)属于类别2（三角）的概率

那么对于一个新的数据点(x,y) 我们可以用下面的规则来判断它的类型

如果p1(x,y) > p2(x,y)，那么类别为1

如果p2(x,y) > p1(x,y)，那么类别为2

独立事件：

在一次实验中，一个事件的发生不会影响到另一个事件发生的概率

P(AB) = P(A)P(B)

独立事件在机器学习中：

比如我们昨天处理过的鸢尾花分类问题

机器学习中的非独立事件：

股票走势的预测，语音识别

条件概率

P(A|B) = P(B|A) P(A) / P(B)

病人分类的例子

那么打喷嚏的建筑工人是什么疾病呢？

A ： 感冒
B ：打喷嚏 x 建筑工人

P(感冒|打喷嚏X建筑工人)
=P(打喷嚏x建筑工人|感冒)xP(感冒)/P(打喷嚏X建筑工人)
=P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打喷嚏) x P(建筑工人)
= 0.66 x 0.33 x 0.5 / 0.5 x0.33
=0.66

使用贝叶斯对在线社区留言本进行分类：

为了不影响社区的发展，我们要屏蔽侮辱性言论。
所以要构建一个快速的过滤器，如果某条留言使用了负面或者侮辱性的语言，
那么就将该留言标识为内容不当

A: 侮辱性言论的概率
B: 我说这句话的概率 = 我说的这句话中的文字出现的概率

思想：
套一下公式，就是
P(侮辱性言论的概率|我说的这句话中的文字出现的概率)
= P(我说的这句话中的文字出现的概率|当言论是侮辱性的时候)*P(侮辱性言论的概率)
/P(我说的这句话中的文字出现的概率)

理解：
A1 ：‘My’ 在留言中出现的概率 A2: ‘Dog’在留言中出现的概率 A3: ‘take’在留言中不出现的概率….
B : 留言是非侮辱性的概率

P(留言是非侮辱性的概率| ‘My’ 在留言中出现的概率（时候） X ‘Dog’在留言中出现的概率… )
=P(‘My’ 在留言中出现的概率 X ‘Dog’在留言中出现的概率… |留言是非侮辱性的概率)
xP(留言是非侮辱性的概率)/P(‘My’ 在留言中出现的概率（时候） X ‘Dog’在留言中出现的概率…)
=P(‘My’ 在留言中出现的概率|留言是非侮辱性的概率) x P (‘Dog’ 在留言中出现的概率|留言是非侮辱性的概率) x…x P(留言是非侮辱性的概率) / P(‘My’ 在留言中出现的概率（时候） X ‘Dog’在留言中出现的概率…)