![6cc373525f2f1366542f8527baf84b69.png](https://i-blog.csdnimg.cn/blog_migrate/d44a1007fa656e3c7b9bac78cde8be00.jpeg)
在机器学习中, 朴素贝叶斯(Naive Bayes)是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单 概率分类器。朴素贝叶斯自20世纪50年代已广泛研究。在20世纪60年代初就以另外一个名称引入到文本信息检索界中,并仍然是 文本分类的一种热门(基准)方法,文本分类是以词频为特征判断文件所属类别或其他(如垃圾邮件、合法性、体育或政治等等)的问题。通过适当的预处理,它可以与这个领域更先进的方法(包括支持向量机)相竞争。它在自动医疗诊断中也有应用。参考 wikipedia朴素贝叶斯分类器zh.wikipedia.org
贝叶斯定理
要理解贝叶斯定理其实比较简单,实际上就是常说的”条件概率“,所谓条件概率,就是假定事件A发生的基础上,事件B发生的概率,用
![980b2e89bbef237b676ba5aba841b0da.png](https://i-blog.csdnimg.cn/blog_migrate/ef2b08040fdf157c1681a6e03d66585a.jpeg)
考虑样本空间
一般的,这里似然概率,叫做
先验概率,叫做
是1个归一化系数,跟我们要计算的”给定
时
的概率“中的
(即我们主要关注的点)是无关的
朴素贝叶斯公式推导
Step 1. 实际情况中我们遇到的问题一般是,给定1个数据样本,根据朴素贝叶斯对之做出分类,即
Step 2. 这里
Step 3. 所以这里朴素贝叶斯公式可以转化成如下(
Step 4. 重点来了,这里的
Step 5. 最后就可以整理成
”是否要去看电影“问题
比如说我喜欢去看电影,但是电影并不是想看就随时能看的,所以这里就要通过一些信息来做判断,判断我”是否要去看电影“
这里有我近10次看电影的记录,大概总结起来主要有4个维度来影响我是否要去看电影,分别是:是否周末,天气好坏,地点远近,电影评分的高低,然后现在的情况是:是周末,天气坏,地点远,评分高的电影,但是我现在不想权衡到底是看还是不看,这时候朴素贝叶斯就能很好的解决我的问题。
![18a3610fff09d4c288824a0f137a82af.png](https://i-blog.csdnimg.cn/blog_migrate/373054efd44c9c4e4c4f7d62db8564f3.jpeg)
根据朴素贝叶斯公式,这里写的通俗一些,其实就是数数,比如
这里有2点需要说明注意一下:
A. 注意到每个公式的第一个”等于号“实际上不是 “
B. 注意到
- 指定一个很小的数字比如
- 在”垃圾邮件分类器“的时候也可能会”分子+1“和”分母+总词数“这种办法,但是思想是一样的
朴素贝叶斯的特点
优点:
A. 算法简单,可解释性强
B. 分类效率较高,只是进行普通的数字运算
缺点:
A. 由于”朴素“的强假设,分类的准确率会有所牺牲,比如在做”垃圾邮件分类“的时候,我们知道,一封邮件中的词不是相互独立的,比如说”我想喝xxx“,这里xxx大概率是一种饮品,而不是”电脑“, ”手机“等其他词汇,这时就可能会导致分类错误的情况。