目录
一、引例
1、旅游问题
二、贝叶斯理论
1、事件和概率
2、联合概率
3、条件概率
4、全概率公式
5、贝叶斯定理
三、朴素贝叶斯分类实例
1、回到旅游问题
2、朴素
3、特征和类别
4、拉普拉斯平滑
5、概率修正
四、朴素贝叶斯分类算法
1、分类问题
2、朴素贝叶斯分类算法原理
五、参考资料
一、引例
1、旅游问题
今天要讲的这个算法很有意思,看了好多资料,打算整理一下。一开始就讲概念,则读者减半。所以我打算从大家都感兴趣的话题开始聊,神不知鬼不觉的让大家领会这个算法的真谛。
公司一般都会组织旅游,那么去不去是我们自己决定的,天气、心情、工作等等的外在原因都会影响我们的选择。我收集了一些数据,如图一-1-1所示。来看看大家在不同情况下对旅游是如何选择的。
![](https://i-blog.csdnimg.cn/blog_migrate/6a735102671cf7cbe23d254aa63aeca7.png)
图一-1-1
我们看到这些数据可以大致分析一下,比如:“真的想出去的玩的时候风雨无阻”、“有时候宅是没有任何理由的”等等。
那么现在我问你,如果下雨、心情好、工作忙,去还是不去?这条数据在上述的表中是找不到的,然而或许你会脱口而出:“不去”。那么我就要问了:“你是怎么想出来的?”你可能想都不用想就能告诉我:“第三条数据,下雨、心情好、工作闲”的时候都不去,工作忙了怎么可能还会去?
你如果要这么说,那我可以说:“忙的时候我就想出去走走,放松下心情,为什么不可以?”
这个问题争论下去没有什么意义,还是要拿数据说话。其实我们只要能够证明这样一个事实,即:下雨、心情好、工作忙的前提下,“不去旅游”的概率大于“去旅游”的概率。这样就能做出决定了:“不去”。反之亦然。
这就是我们今天要讲的---朴素贝叶斯分类算法。
二、贝叶斯理论
这是一个基于概率的算法,所以有必要复习一下大学概率论的相关知识。
1、事件和概率
简单扫一遍事件的概念,完全可以略过,只需要瞄一眼图二-1-1的文氏图就行:
a.包含事件:A
⊂
B,即事件A发生则必然导致事件B发生;
b.和事件:A∪B,即事件A和事件B至少一个发生,事件A∪B发生;
c.积事件:A∩B(或AB),即事件A和事件B同时发生,则事件A∩B发生;
d.互斥事件:A∩B=∅,即事件A和B不能同时发生;
e.对立事件:A∩B=∅且A∪B=Ω,即事件A和B必定并且仅有一个发生,A的对立事件记为A'(数学中是上划线);
f.差事件:A-B,即当且仅当A发生而B不发生时,事件A-B发生;
![](https://i-blog.csdnimg.cn/blog_migrate/84ad11e64c20eba6cace97476a4b5fa3.png)
图二-1-1
概率则是对事件发生可能性大小的客观度量。事件A的概率记为P(A)。
2、联合概率
联合概率是指事件A和事件B同时发生的概率,记为P(A∩B)或P(AB)。
![](https://i-blog.csdnimg.cn/blog_migrate/c9db54e41e39268255439ce06400007e.png)
图二-2-1
用S(x)表示图二2-1的文氏图中x块代表的面积,用面积的比值来代表概率是最直观的了:
![](https://i-blog.csdnimg.cn/blog_migrate/543a59bd97a9f99f169cbcfd2ad05986.png)
图二-2-2
3、条件概率
条件概率是指已知事件B发生的条件下,事件A发生的概率,记为P(A|B)。由于事件A和B之间可能会有一定联系,因而事件B发生以后,事件A的概率可能会发生变化。即P(A|B)不一定等于P(A)。
从图二-2-1可以看出,P(A|B)=S(A∩B)/S(B),分子分母同时除上S(Ω),则:
![](https://i-blog.csdnimg.cn/blog_migrate/a439fded5cce5eb2c174c6987f807788.png)
图二-3-1
同理可得:
![](https://i-blog.csdnimg.cn/blog_migrate/31e9d77362ca331496123c794ad35f7c.png)
图二-3-2
将分母移到等式左边,则有如下乘法等式:
![](https://i-blog.csdnimg.cn/blog_migrate/51b447d4fb0bff3d217154ef92c4c119.png)
图二-3-3
这个就是乘法公式。
最后将P(B)移到等式右边成为分子,得到条件概率的计算公式如下:
![](https://i-blog.csdnimg.cn/blog_migrate/6d7dbc7b2d2f28e8c74036d547fc2633.png)
图二-3-4
这时候有人可能会问P(A|B)和P(B|A)有什么区别?在数学思维里,当一个量不容易求的时候总是将它转换成等价的好求的量,这里也是如此。接下来的这个例子中,你会发现P(A|B)不好求而P(B|A)是显而易见的例子。
【例题1】假设人口中有1%的人携带SB病毒。进行检查时,由于技术和操作不完善的原因,携带者未必呈阳性,而不携带者也可能呈阳性。在不清楚是否携带的情况下,检测呈阳性概率为10%;明确携带病毒的情况下,检测呈阳性概率为98%。
请问,现在某人检查结果呈阳性,那么他携带SB病毒的概率有多大?
为了简化问题,我们令人群中携带SB病毒的事件为A,检测呈阳性的事件为B。那么需要求的就是P(A|B)。
P(B|A)表示携带病毒者检测呈阳性的概率,是个已知量,为0.98;P(A)表示携带SB病毒的概率为0.01;P(B)为0.10。
所以P(A|B)=P(B|A)P(A)/P(B)=0.98*0.01/0.10=9.8%
我们发现,即使检验结果为阳性,携带病毒的概率也不是很大,这是因为有误报率的存在。对于这个病毒问题,下文还会继续探讨,目前只是作为抛砖引玉的作用。
4、全概率公式
![](https://i-blog.csdnimg.cn/blog_migrate/9bd34b0e50f2adc99203ef83cfff1c18.png)
图二-4-1
如图二-4-1所示,B代表全集,并且被切分成B1、B2、B3三部分,那么A可以表示成如下:
![](https://i-blog.csdnimg.cn/blog_migrate/331c596055eb67067d52dad2588b2861.png)
图二-4-2
然后计算A的概率就可以转换成计算A和B的积事件的概率之和,利用乘法公式,有如下等式:
![](https://i-blog.csdnimg.cn/blog_migrate/e0427262af41740d7d80754027e5d140.png)
图二-4-3
以上就是划分为3的全概率公式,接下来看下更一般的情况:
![](https://i-blog.csdnimg.cn/blog_migrate/640fb5e878174b5ff4d0674380c02b57.png)
图二-4-4
还是以病毒携带为例说一说全概率公式。
【例题2】假设人口中有1%的人携带SB病毒。进行检查时,由于技术和操作不完善的原因,携带者未必呈阳性,而不携带者也可能呈阳性。
不携带病毒的情况下
,检测呈阳性概率为9%;携带病毒的情况下,检测呈阳性概率为98%。
请问,在不清楚是否携带病毒的情况下,检测呈阳性的概率为多少?
该问题对例题1进行了扩展,红字部分是两道题的区别,沿着上个问题的思路,P(A)代表携带病毒的概率,P(B)代表检测呈阳性的概率。那么P(B)就是我们需要求的量。有全概率公式,我们可以将事件按照是否携带病毒分成两类:A表示携带,A'表示不携带。根据全概率公式,有:
![](https://i-blog.csdnimg.cn/blog_migrate/2206bacf31be818dc712258f77b6d4b7.png)
图二-4-5
其中P(B|A)和P(B|A')分别代表携带病毒和不携带病毒时,检测呈阳性的概率,题中已经给出;P(A)和P(A')也都是已知量;所以P(B)可以轻松计算得出:P(B) = 0.98*0.01 + 0.09*(1-0.01) = 9.89%
5、贝叶斯定理
贝叶斯公式看起来复杂,其实很简单,将条件概率的推算公式的分母P(B)用全概率公式替换,就有了贝叶斯公式:
![](https://i-blog.csdnimg.cn/blog_migrate/54ac77b079a094e0b8c607ef435cf2fc.png)
图二-5-1
好了,贝叶斯相关的理论部分到这里就结束了,接下来我们看一个SB病毒的完整例题。
【例题3】假设人口中有1%的人携带SB病毒。进行检查时,由于技术和操作不完善的原因,携带者未必呈阳性,而不携带者也可能呈阳性。不携带病毒的情况下,检测呈阳性概率为9%;携带病毒的情况下,检测呈阳性概率为98%。
请问,现在某人检查结果呈阳性,那么他携带SB病毒的概率有多大?
沿用【例题2】的题面和【例题1】的提问,就有了【例题3】。为了套用贝叶斯公式,我们用A1和A2代表携带病毒和不携带病毒,那么A1和A2构成一个全集Ω,P(B)代表检测呈阳性的概率。需要求的就是P(A1|B)。直接套用贝叶斯公式:
![](https://i-blog.csdnimg.cn/blog_migrate/bda3515265d1591c4fa169cb87a0defa.png)
图二-5-2
我们发现,携带病毒的的情况下检测呈阳性的概率高达98%。然而反过来,检查结果为阳性,携带病毒的概率不到10%,单纯从图二-5-2的公式就能看出一些端倪,98%和1%都是确定的,99%也是从1%通过反算取得,所以影响最后的概率的最大因素就是那个9%(不携带病毒时检查呈阳性的概率),也就是误报率。误报率越大,公式的分母越大,最后的概率就越小。
再来分析一下条件概率的计算公式,P(A)被称为“先验概率”,它是事件B发生前对事件A概率的一个判断,有的资料上也叫 “古典概率”,往往通过大量的数据估算得出(最经典的是抛一枚硬币,正面朝上的概率为1/2);P(A|B)被称为“后验概率”,即在事件B发生后,对事件A概率的一个再判断;而P(B|A)/P(B)作为调整因子,用于加强或减弱先验概率。
![](https://i-blog.csdnimg.cn/blog_migrate/67d49020f183e83672b6d20fae110f1d.png)
图二-5-3
这样讲可能不是很直观,那么我们现在把A和B用具体的事件来表示,用A表示加班,用B表示身体被掏空。则有如下等式:
![](https://i-blog.csdnimg.cn/blog_migrate/a72925ce80b97ad6956fbea80d04d801.png)
图二-5-4
我们需要求的是:想知道某个人“身体被掏空”,是因为“加班”呢还是别的什么原因?属于加班的概率有多少?等式右边的三项都可以通过大量数据统计得出。
P(加班):该员工从入职到现在加班的天数/总天数;
P(身体被掏空):请假的天数/总天数;
P(身体被掏空|加班):当晚加班后次日请假的天数/总加班数;
(以上的计算方法只是一个参考方案,并且和样本数量有关。比如入职越久的老员工数据越准确,因为采样次数越多频率越接近概率)
当然,“身体被掏空”这个结果发生的原因还有其它的,读者可以发挥自己的想象,比较各个原因发生的概率,抽丝剥茧,逐步找到“身体被掏空”的真正原因。
三、朴素贝叶斯分类算法
1、回到旅游问题
回到之前的问题,下雨、心情好、工作忙的前提下,“去旅游”还是“不去旅游”?我们先把这个问题用公式来描述出来:
![](https://i-blog.csdnimg.cn/blog_migrate/6a88b386899897089123890fa522ef4f.png)
图三-1-1
那么,如果我们能够计算P1和P2的值,然后比较两者的大小,就能做出决定了。先计算P1。根据条件概率的推算公式,有:
![](https://i-blog.csdnimg.cn/blog_migrate/91c0681f355484f3e7d38d09071c73ef.png)
图三-1-2
还是那句话,当一个量不容易求的时候,总是可以将它转换成等价的好求的量,那么为什么这三个量好求呢?这样看来貌似还不是很好求,我们需要把等式进行再一次变形。
接下来我们看下朴素贝叶斯分类算法是如何将上式进行变形的。
2、朴素
“朴素”的意思就是简单,为了让问题足够简单,我们需要假定影响结果(这里特指“去旅游”这件事)的各个因素相互独立。相互独立意味着什么?意味着事件B发生与否,并不会影响事件A发生的概率,即:P(A|B) = P(A)。则根据乘法公式,有:
P(AB) = P(A|B)P(B) = P(A)P(B)
可以推广到n个独立事件的情况。那么就有:
![](https://i-blog.csdnimg.cn/blog_migrate/7b25c98f10a91fbcf1bbed4e92b75fa7.png)
图三-2-1
同理,再加上“去旅游”这个事件的前提下,原本独立的事件还是满足如下等式:
P(BC|A) = P(B|A)P(C|A)
![](https://i-blog.csdnimg.cn/blog_migrate/2a182126c0cf6a422575b9537a923eed.png)
图三-2-2
然而,问题来了,有人说天气可能影响我的心情,它们之间并不是相互独立的。没错,这也是为何称之为“朴素”的一个原因,这里的相互独立这个假设往往是理想化的,这也是朴素贝叶斯分类的一个缺点,所以这个算法适用于各个决定因素之间相关性较小的实际问题。但是这并不影响我们学习这个算法的思维。
最后我们把上述P1的连等式进行一番整理,有:
![](https://i-blog.csdnimg.cn/blog_migrate/e6a5781274b3a0f860b96005577a2141.png)
图三-2-3
3、特征和类别
仔细观察最后的连等式,我们可以将这些概率分成几类,天气、心情、工作可以认为是一些“特征”,而去不去旅游作为我们需要分类的“类别”(这里为去和不去两类),那么我们需要统计的就是P(特征)、P(类别)、P(特征|类别)这三类概率。
朴素贝叶斯分类算法的含义就是根据一些给定的“特征”进行“分类”。
统计的数据越多,事情发生的频率越接近事情发生的概率(我们现在为了把事情简单化,所以数据量比较小,这样更方便说明问题)。
a)P(特征):如图三-3-1,以“下雨”为例,10条样本数据中“下雨”的数据占据了3条,所以P(下雨)=3/10=0.3
![](https://i-blog.csdnimg.cn/blog_migrate/e872c08d10deb95b1ce450cd60c34cc2.png)
图三-3-1
b)P(类别):如图三-3-2,以“去旅游”为例,10条样本数据中“去旅游”的数据占据了5条,所以P(去旅游)=5/10=0.5
![](https://i-blog.csdnimg.cn/blog_migrate/f06fc3759c6455faebb60620e2edd15f.png)
图三-3-2
c)P(特征|类别):如图三-3-3,以“去旅游”的情况下“心情好”为例,5条“去旅游”的样本数据中“心情好”占据了1条,所以P(心情好|去旅游)=1/5=0.2
![](https://i-blog.csdnimg.cn/blog_migrate/fd739513b26feb5629120ea4ea77e541.png)
图三-3-3
按照上述方式进行统计,就能计算出下雨、心情好、工作忙的情况下“去旅游”和“不去旅游”的概率了。
![](https://i-blog.csdnimg.cn/blog_migrate/56fe651158d4a047c6b1cbf742b4d306.png)
图三-3-4
计算完P1和P2,仔细一看!哇靠!不去旅游的概率还能大于1?这是为什么呢?难道是为了替公司节省资金,所以竭力阻止我们去旅游?
当然不是啦...
真正的原因是因为我们的数据样本太少,所以其实频率并不等于概率,为了缓解这个问题,需要引入拉普拉斯平滑使得概率的计算更为精确。
4、拉普拉斯平滑
(百度拉普拉斯平滑,你可以看到一个比较牛逼的图,我就不贴了。免得贴完图,导致又一批祖国的花朵对数学失去信心)。
拉普拉斯平滑又被称为加1平滑,是比较常用的平滑方法。平滑方法的存在主要是为了解决零概率问题。
还是以抛硬币来举例,硬币出现正面的概率为p,已知前m次出现正面的次数为n。当m足够大的时候,p=n/m;然而,当m很小时,这个结果显然是不成立的,试想m=4的时候,4次都是反面,那么p=0这肯定是不合理的。
为了解决这个零概率问题,我们在分母加上取值范围的大小,并且在分子加1。概率计算公式变为p=(n + 1)/(m + 2)。其中分母的2代表正面、反面两种情况,分子的1则代表“1”次正面,当m足够大的时候,极限为n/m符合概率的计算;当m较小时,则认为正面这个事件至少发生一次。
更加一般的情况,对于一个随机变量x,取值范围为[1, n]内的整数。进行m次取值试验后,记录第i次取出的结果为a(i),那么取到j的概率为:
![](https://i-blog.csdnimg.cn/blog_migrate/6587e6708fd108edc0e5b24aa1f326c9.png)
图三-4-1
加入拉普拉斯平滑以后,计算公式变为:
![](https://i-blog.csdnimg.cn/blog_migrate/2a428114b353c1062ae1eff39a5cb256.png)
图三-4-2
分子加1是为了避免零概率问题,分母加n是为了公平,让每个能取到的值都加1。
5、概率修正
然后,通过拉普拉斯平滑对特征、类别概率进行修正。以P(下雨)为例,10次天气样本数据中,3次为下雨,然后对分母加上3(天气的种类数),分子加上1,得到最后的概率P(下雨) = (3 + 1) / (10 + 3) = 4/13。
继续把P1和P2带入进行计算:
![](https://i-blog.csdnimg.cn/blog_migrate/bfe6fb3d5c4f7955a2c12074b374c778.png)
图三-5-1
选择不去旅游的概率还是大于1(真的很后悔选了这么个例子...)。这对于作者来说简直就是晴天霹雳,感觉有种编不下去了的感觉。但是,作者还是倾向于把产生这个的原因归结为样本数据太少引起的。
然而,
其实我们并不需要纠结这个问题,我们要做的只是需要比较P1和P2哪个大,我们发现P1和P2的分母是一样的,换言之只要比较两者的分子即可,因为引入了拉普拉斯平滑,所以这里涉及的所有概率都是大于0的,也就是说如果拿P1或P2作为除数不会产生除零异常。那么,令k = P1/P2,如果k>1,则说明P1>P2;反之,则P1<=P2。
实际情况是P1<P2,不去旅游的概率远大于去旅游的概率。所以我们选择不去旅游。
四、朴素贝叶斯分类算法
1、分类问题
所谓分类问题,就是根据事物的特征,对事物的类别进行划分。上文描述的旅游问题就是一个分类问题,其中天气、心情、工作的忙或闲就是特征量,根据这些特征,分为去旅游和不去旅游两类。
从数学的角度来阐述分类问题:
定义待分类集合X和类别集合Y,其中X = {x1, x2, ...},Y = {y1, y2,...yn}。 需要找到一种映射规则y = F(x),使得对于任何一个特征xi
∈X有且仅有一个yj∈Y使得yj = F(xi)成立。
分类问题的实质就是构造这个分类器F。其实你在遇到一个问题,然后思考用什么算法来解决这个问题的时候,就是一个分类的过程。分类的准确率与你学过的算法多少(构造方式)、问题本身适合什么算法的特性(特征量)以及你对每个算法的经验(样本数量)有关。
2、朴素贝叶斯分类算法原理
1、x = {a1, a2,...am}为一个待分类项,其中ai代表x的第i条特征(例如:x =
{下雨,心情好,工作忙});
2、类别集合Y = {y1, y2,...yn}(例如:Y = {去旅游,不去旅游});
3、分别计算P(y1|x)、P(y2|x)、...、P(yn|x);
4、找出满足P(y1|x),P(y2|x),...,P(yn|x)中值最大的yk,那么x属于类别yk;
朴素贝叶斯算法要求各个特征量ai相互独立,其中第3条的计算可以通过贝叶斯公式进行转换:
![](https://i-blog.csdnimg.cn/blog_migrate/a29844c1a385d3dede7e0afc5871ea6d.png)
图四-2-1
在找满足P(yi|x)最大的yk时,分母P(x)是确定的,所以只需要计算分子即可。分子的计算可以通过大量样本训练统计得出。
五、参考资料
a.阮一峰的贝叶斯定理,解释的很到位
b.贝叶斯的理论知识
c.算法杂货铺——分类算法之朴素贝叶斯分类
d.拉普拉斯平滑,一个比较好的解释