数据挖掘 文本分类 知乎问题单分类（四）：分类

经过前几部分的准备，现在我们终于要到最后使用模型分类的时刻了。这里我们使用了多项式朴素贝叶斯分类器和SVM分类器进行分类。

---

朴素贝叶斯

贝叶斯定理¹

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

贝叶斯分类

贝叶斯分类方法的新实例分类目标是在给定描述实例的属性值
<a1,a2…an>下，得到最可能的目标值VMAP。

上式中的有两个数据项需要估计：
（1）P(vj)
常常是计算每个目标值vj出现在训练数据中的频率。
（2）P(a1,...an/vj)
除非有一个非常大的训练数据集，否则应用频率的方法无
法获得可靠的估计。

朴素贝叶斯分类器（Naive Bayes）

为了解决上面第二个数据项需要非常大的训练数据集，且计算量巨大的问题。我们引入了朴素贝叶斯：

朴素贝叶斯分类器的假定：在给定目标值下，属性值之间相互条件独立。换言之，给定实例的目标值情况下，观察到联合的a1, a2…an的概率正好是对每个单独属性的概率乘积：

利用频率方法，从训练数据中估计不同P(ai|vj)项的所需样本数比要估计P(a1,…,an|vj)项所需的量小得多 。从而我们能得到下面所饰的朴素贝叶斯分类器的定义。

朴素贝叶斯分类器的定义：

其中vNB表示朴素贝叶斯分类器输出的目标值。

朴素贝叶斯文本分类例子

假定我们共有1000个训练文档，其中700个分类为dislike，300个分类为like，现在要对下面的新文档进行分类：

• This is an example document for the naive Bayes classifier. This document contains only one paragraph, or two sentences.

朴素贝叶斯进行文本分类就如上面所示，但是有几点需要说明：

• 注意此处贝叶斯分类器隐含的独立性假设并不成立。通常，某个位置上出现某个单词的概率与前后位置上出现的单词是相关的
• 虽然此处独立性假设不精确，但别无选择，否则要计算的概率项极为庞大。
• 另外实践中，朴素贝叶斯学习器在许多文本分类问题中性能非常好

朴素贝叶斯文本分类算法

训练算法：

学习算法：

朴素贝叶斯如何利用向量空间模型进行分类计算？

1. 生成类别标签