朴素贝叶斯是朴素贝叶斯定理与特征条件独立假设的分类方法
贝叶斯:
eg:
一个学校中,男生人数60%,女生人数40%
男生100%穿长裤,女生50%穿长裤,50%穿裙子。
求:穿长裤的是女生的概率。
解:设:U:全校总人数;
穿长裤的男生总人数:U*P(Boy)*P(Pants|Boy)=U*60%*100%
穿长裤的女生总人数:U*P(Girl)*P(Pants|Girl)=U*40%*50%
穿长裤的总人数:U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)=U*60%*100%+U*40%*50%
穿长裤的女生概率:P(Girl|Pants)=穿长裤的女生的总人数/穿长裤的总人数=(U*P(Girl)*P(Pants|Girl))/(U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl))=(P(Girl)*P(Pants|Girl))/(P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl))=(P(Girl)*P(Pants|Girl))/P(Pants)
所以不难看出最后的概率值与总人数的多少是没有关系的
将最后的结果进行替换:P(y|X)=P(y)*P(X|y)/P(X)
这个公式就是贝叶斯公式。
自变量往往是事物的表象,是很容易被观测到的,用X表示,P(X)的概率是可得到的,标签表示事物的内在,不容易被观测到,也是模型需要预测的值,用y表示,P(y)也是可得到的。而在y值确定的情况下X发生的概率也是可测的用P(X|y)表示。我们可以通过求解P(X),P(y)和P(X|y),间接的求解P(y|X),求解P(y|X)的过程就是一个求解逆向概率的过程。
在公式中,P(X)我们通常称之为后验概率,P(y)我们通常称之为先验概率。
特征条件独立假设:
建设数据有n个特征(自变量),记为X={x1,x2,...xn},被预测变量为y,表示类别,模型的假设非常简单,各个特征条件独立。即,在同一类别下,各个特征独立。表达成公式如下:
朴素贝叶斯:
训练数据集:
由P(X,Y)独立同分布产生