朴素贝叶斯分类模型

目录

 

一、背景知识

1.朴素贝叶斯分类器原理

2.条件概率

三、补充知识 

1.学习器、模型、分类器

四、总结

一、背景知识

1.朴素贝叶斯分类器原理

（1）基于“贝叶斯理论”和特征“条件独立”的假设，的一种分类算法。

（2）流程：

①（因为特征条件独立）假设学习数据的概率分布服从正态分布  why？？

②基于此正态分布，对于给定的特征数据x，使用贝叶斯定理算出label y

（3）此算法实现简单、预测效率高、是常用的分类算法

2.条件概率

（1）定义：

概率指的是某一事件A发生的可能性，表示为P(A)。而条件概率指的是某一事件A已经发生了条件下，另一事件B发生的可能性，表示为P(B|A)

（2）计算：

设A，B是两个事件，且P(A)>0，则P(B|A)=P(AB)/P(A)为B的条件概率（其中P(AB)表示事件A和事件B同时发生的概率，只有A和B无条件独立时才为P(A)*P(B),但此时只是条件独立）

3.乘法定理

（1）定义

将条件概率的公式两边同时乘以P(A)，就变成了乘法定理，即P(AB)=P(B|A)*P(A)=P(A|B)*P(B)

这给出了，当A和B为两个事件（不知道是否独立）时，计算A，B同时发生的概率的方式。

且表明，其与顺序无关。

4.全概率公式

（1）定义

当为了达到某种目的，但是达到目的有很多种方式，如果想知道通过所有方式能够达到目的的概率是多少的话，就需要用到全概率公式

（2）计算

 事件C即为你想达到的目的，B为各种你可以使用的方法，但是你只能选择一个。

即：P(C)=P(B1C)+P(B2C)+...

5.贝叶斯公式

当已知引发事件发生的各种原因的概率，想要算该事件发生的概率时，我们可以用全概率公式。但如果现在反过来，已知事件已经发生了，但想要计算引发该事件的各种原因的概率时，我们就需要用到贝叶斯公式了。

其就是使用了乘法定理+调换了顺序+用全概率公式展开：

 

三、补充知识

1.模型的别称叫作“学习器”，模型指：通过某些算法，对一些训练集进行学习后形成的模型，可以对未来进行预测判断。 “学习器”顾名思义，通过某种方法（即：算法）学习了一些数据，而形成了自己的规律（判断准则）。

分类器即为分类模型。

2.特征

样本属性

3.条件独立

定义：某些相互影响的事件可以在某些条件的成立下相互独立。

转载自其他博主：

条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身，P(XY)=P(X)P(Y)P(XY)=P(X)P(Y)，二者独立）；

P(X,Y∣∣C)≠P(X|C)P(Y|C)
P(X,Y|C)≠P(X|C)P(Y|C)
事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定 ZZ 下，XX 与 YY 是条件独立的当且仅当：

X⊥Y|Z⇔P(X,Y|Z)=P(X|Z)⋅P(Y|Z)
X⊥Y|Z⇔P(X,Y|Z)=P(X|Z)⋅P(Y|Z)
也即 XX 与 YY 的依赖关系借由 ZZ 产生。

例如，定义如下事件：

XX：明天下雨；
YY：今天的地面是湿的；
ZZ：今天是否下雨；
ZZ 事件的成立，对 XX 和 YY 均有影响，然而，在 ZZ 事件成立的前提下，今天的地面情况对明天是否下雨没有影响。
————————————————
版权声明：本文为CSDN博主「五道口纳什」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/lanchunhui/article/details/53696550

4.贝叶斯理论

四、总结

 条件概率：B在A已经完成的条件下的概率 P(B|A)=P(AB)/P(A)

乘法定理：A、B在不独立的情况下（独立时也可以用），同时发生的概率P(AB)=P(B|A)*P(A)

全概率公式：当已知引发事件发生的各种原因的概率，想要算该事件发生的概率时，我们可以用全概率公式

贝叶斯公式：已知事件已经发生了，但想要计算引发该事件的各种原因的概率时