写在前面:本文写自初学时,若后续学习过程中有新的理解,将不定期进行更新;若文中叙述有误,望不吝赐教,也将及时修改
贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。在理解朴素贝叶斯之前,需要对两个数学概念进行介绍:先验概率、后验概率。
举个例子:
如今正值夏季,我们常会去买西瓜解暑,那么怎么挑选西瓜才能保证是“好瓜”呢?(这也就是分类)
首先,我没有任何“经验知识”,例如色泽、根蒂、纹理等,那么按照常理来说,市场上的西瓜是好瓜的概率大致是60%,那么这个0.6就是先验概率。我们就说P(好瓜)=0.6
也就是说,先验概率不依附样本数据,不受任何条件的影响。
之后,通过父辈口口相传、网上检索,自己脑海中形成了一个如何判断西瓜是好瓜的方法,以根蒂为例,若我们知道当一个西瓜根蒂脱落时,其成熟的概率是75%,那么通过根蒂的情况来判断瓜的好坏就是后验概率。我们就说P(好瓜|根蒂脱落)=0.75,这个概率的读法是:在根蒂脱落的前提下,是好瓜的概率是0.75.
在了解先验概率和后验概率后,就可以再引申出联合概率。
还是以上述为例,P(好瓜,根蒂脱落)即联合概率,表示是好瓜的同时其根蒂脱落的概率。
看过条件概率公式和贝叶斯公式的人应该熟悉这个公式:
同理
因此可以得到P(AB)=P(A|B) * P(B) = P(B|A) * P(A)
左式即联合概率,用西瓜来表示即:P(好瓜,根蒂脱落)=P(好瓜|根蒂脱落) * P(根蒂脱落) = P(根蒂脱落|好瓜) * P(好瓜)
结合一只西瓜只有好瓜和坏瓜两种情况,再结合全概率公式
最后可以得到关于根蒂脱落的全概率公式:
P(根蒂脱落) = P(好瓜)P(根蒂脱落|好瓜) + P(坏瓜)P(根蒂脱落|坏瓜)
理解了前面这些概念之后就可以搬出下面的公式(A代表根蒂脱落,B为好瓜):
由于这里的B代表瓜的好坏,若延伸到多分类任务,即B有n个状态,则上式可写为:
更一般的,用x代表特征值,y代表待分类的类别,则上式又可写为:
加粗体的A表示一个向量,有多个特征值,而:
代入上式,最后可得:
此即用特征A来分类y的一般表达式