朴素贝叶斯

朴素贝叶斯是朴素贝叶斯定理与特征条件独立假设的分类方法

贝叶斯：

eg：

一个学校中，男生人数60%，女生人数40%

男生100%穿长裤，女生50%穿长裤，50%穿裙子。

求：穿长裤的是女生的概率。

解：设：U：全校总人数；

穿长裤的男生总人数：U*P(Boy)*P(Pants|Boy)=U*60%*100%

穿长裤的女生总人数：U*P(Girl)*P(Pants|Girl)=U*40%*50%

穿长裤的总人数：U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)=U*60%*100%+U*40%*50%

穿长裤的女生概率：P(Girl|Pants)=穿长裤的女生的总人数/穿长裤的总人数=(U*P(Girl)*P(Pants|Girl))/(U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl))=(P(Girl)*P(Pants|Girl))/(P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl))=(P(Girl)*P(Pants|Girl))/P(Pants)

 

所以不难看出最后的概率值与总人数的多少是没有关系的

将最后的结果进行替换：P(y|X)=P(y)*P(X|y)/P(X)

这个公式就是贝叶斯公式。

自变量往往是事物的表象，是很容易被观测到的，用X表示，P(X)的概率是可得到的，标签表示事物的内在，不容易被观测到，也是模型需要预测的值，用y表示，P(y)也是可得到的。而在y值确定的情况下X发生的概率也是可测的用P(X|y)表示。我们可以通过求解P(X)，P(y)和P(X|y)，间接的求解P(y|X)，求解P(y|X)的过程就是一个求解逆向概率的过程。

在公式中，P(X)我们通常称之为后验概率，P(y)我们通常称之为先验概率。

 

特征条件独立假设：

建设数据有n个特征（自变量），记为X={x1,x2,...xn},被预测变量为y，表示类别，模型的假设非常简单，各个特征条件独立。即，在同一类别下，各个特征独立。表达成公式如下：

 

朴素贝叶斯：

训练数据集：

由P(X,Y)独立同分布产生