引言: 很多机器学习算法都从误差角度来构建模型函数f,也就是减少损失函数。而贝叶斯算法则是从概率的角度来考虑。贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。
1 分类问题综述
对于分类问题,其实谁都不会陌生,日常生活中我们每天都进行着分类过程。例如,当你看到一个人,你的脑子下意识判断他是学生还是社会上的人;你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话,其实这就是一种分类操作。
既然是贝叶斯分类算法,那么分类的数学描述又是什么呢?
数学角度分析:
已知m个样本x是特征变量,y是对应的类别。
要求一个模型函数h,对于新的样本x,能够尽量准确的预测出 y=h(x)
概率角度分析:
试想一个样本x,在可以的情况下,你可以求出它属于各分类的概率,即P(y1∣x),P(y2∣x),......P(yn∣x),其中有最大值的
P(ym|x),x即属于该分类ym。
其中Y叫做类别集合,其中每一个元素是一个类别,而X叫做项集合(特征集合),其中每一个元素是一个待分类项,f叫做分类器。分类算法的任务就是构造分类器f。
分类算法的内容是要求给定特征,让我们得出类别,这也是所有分类问题的关键。那么如何由指定特征,得到我们最终的类别,也是我们下面要讲的。
2 朴素贝叶斯分类
那么既然是朴素贝叶斯分类算法,它的核心算法又是什么呢?
是下面这个贝叶斯公式: