李航学习 | Chapter4 朴素贝叶斯法笔记

书籍 | 《统计学习方法》

作者 | 李航

笔记 | Sam Gor

贝叶斯分类其实在我日常工作中是很少接触到，这很常见的就是用于垃圾邮件分类、文本分类领域。今天学习的一个朴素贝叶斯（Naïve Bayes）也算是一个入门级的分类。

▌1.1 前言

贝叶斯其实从诞生（1763年《机会学说中一个问题的解》）一直到100年前都不是主流，直到后面在现代特定领域的出色应用表现才为自己赢得半壁江山。

贝叶斯的思想可以概括为：先验概率+数据=后验概率。一般来说，先验概率一般来说就是我们对于数据所在领域的历史经验，但是这个经验常常是难以量化或者是模型化，于是贝叶斯分类就是一个大胆的假设先验分布的模型，一般来说有正态分布、beta分布、泊松分布等等，但这些假设一般没有特定的依据，因此一直被认为很荒谬。但现代的某些特定领域的很多实际应用中，贝叶斯理论很好用，因此也流行了起来。

▌1.2 概念回顾

1）贝叶斯分类

一类分类算法的总称，这类算法均已贝叶斯定义为基础，故统称为贝叶斯分类。

2）贝叶斯定理

已知某条件概率，如何得到两个时间交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。

3）朴素贝叶斯分类思想

给出待分类项，求解在此项出现的条件下其他各个累呗的出现概率，哪个概率较大就认为分类项属于哪个类别。

4）条件独立公式

P(A，B) = P(A) · P(B)

▌1.3 公式推导

声明：本公式推导过程为小象机器学习课程的课堂note，所有者为Zengchang Qin (Ph.D.)老师。

贝叶斯的推导过程没有复杂的求导和矩阵运算，所以效率上还是有很大的优势的。

▌1.4 朴素贝叶斯算法小结

主要优点：

• 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

• 对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

• 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

主要缺点：　　

• 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下，假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

• 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

• 由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

• 对输入数据的表达形式很敏感。

▌1.5 参考文献

1.《统计学习方法》 · 李航·Chapter 4

2. 小象学院 · 机器学习课程 · 课堂note

3. 李航统计学习方法——算法3朴素贝叶斯法

https://www.cnblogs.com/bethansy/p/7435740.html

4. 朴素贝叶斯算法原理小结

http://www.cnblogs.com/pinard/p/6069267.html

—End—