文本分类大致有两种方法:一种是基于训练集的文本分类方法;另一种是基于分类词表的文本分类方法。两种方法出自不同角度的研究者,训练集法更多的来自计算机或人工智能研究领域,而分类表法则更多地来自突出情报领域。本文主要介绍前一种。
基于训练集的文本分类是一种典型的有教师的机器学习问题,一般分为训练和分类两个阶段,具体过程如下:
训练阶段:
1) 定义类别集合 ,这些类别可是是层次式的,也可以是并列式的。
2) 给出训练文档集合 ,每个训练文档 被标上所属的类别标识 。
3) 统计 中所有文档的特征矢量 ,确定代表 中每个类别的特征矢量 。
分类阶段:
1)对于测试文档集合 中的每个待分类文档 ,计算其特征矢量 与每个 之间的相似度 。
2)选取相似度最大的一个类别 作为 的类别。
有时也可以为 指定多个类别,只要 与这些类别之间的相似度超过某个预定的阈值。如果 与所有类别的相似度均低于阈值,那么通常将文档放在一边,有用户来做最终决定。如果这种情况经常发生,则说明需要修改预定义的类别,然后重新进行上述训练与分类工程。
从训练集中得出分类模式的方法很多,有基于文本特征向量相关性的方法、基于神经网络技术的方法、基于遗传算法的方法、基于关联的方法、基于EM算法的方法等。