机器学习之朴素贝叶斯算法

引言：  很多机器学习算法都从误差角度来构建模型函数f，也就是减少损失函数。而贝叶斯算法则是从概率的角度来考虑。贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

 

1  分类问题综述

 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。

 

既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？

 

数学角度分析：

已知m个样本x是特征变量，y是对应的类别。

要求一个模型函数h，对于新的样本x，能够尽量准确的预测出 y=h(x)

 

概率角度分析：

试想一个样本x,在可以的情况下，你可以求出它属于各分类的概率，即P(y1​∣x),P(y2​∣x),......P(yn​∣x)，其中有最大值的

P(ym|x)，x即属于该分类ym。

 

其中Y叫做类别集合，其中每一个元素是一个类别，而X叫做项集合（特征集合），其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。

 

分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。那么如何由指定特征，得到我们最终的类别，也是我们下面要讲的。

 

2  朴素贝叶斯分类

那么既然是朴素贝叶斯分类算法，它的核心算法又是什么呢？

是下面这个贝叶斯公式：