文本分类-分类器设计

文本分类大致有两种方法：一种是基于训练集的文本分类方法；另一种是基于分类词表的文本分类方法。两种方法出自不同角度的研究者，训练集法更多的来自计算机或人工智能研究领域，而分类表法则更多地来自突出情报领域。本文主要介绍前一种。

基于训练集的文本分类是一种典型的有监督机器学习问题，一般分为训练和分类两个阶段，具体过程如下：

训练阶段：

1. 定义类别集合，这些类别可是是层次式的，也可以是并列式的。

2. 给出训练文档集合，每个训练文档被标上所属的类别标识 。

3. 统计中所有文档的特征向量，确定代表中每个类别的特征向量 。

分类阶段：

1. 对于测试文档集合中的每个待分类文档，计算其特征向量与每个类别之间的相似度 。

2. 选取相似度最大的一个类别作为的类别。

有时也可以指定为多个类别，只要与这些类别之间的相似度超过某个预定的阈值。如果与所有类别的相似度均低于阈值，那么通常将文档放在一边，有用户来做最终决定。如果这种情况经常发生，则说明需要修改预定义的类别，然后重新进行上述训练与分类工程。

从训练集中得出分类模式的方法很多，有基于文本特征向量相关性的方法、基于神经网络技术的方法、基于关联的方法、基于EM算法的方法等。

朴素贝叶斯算法

朴素贝叶斯（Naive Bayes）算法的基本思路是计算文本属于类别的概率，文本属于类别的概率等于文本中每个词属于类别的概率的综合表达式。具体算法步骤如下：

1. 计算特征词(w_i)属于每个类别(j)的概率向量。
   $$P(j|w_i)=\frac{\#w_i\in c}{\#w_i}$$