文本分类学习笔记（1）- 概论

一、文本分类

一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个，而文本的自动分类则是使用计算机程序来实现这样的分类。[1]中给出了多种文本分类的概念，参考其他资料发现主要有几点需要注意：第一，分类所需要的类别体系即类别及其标号是预先确定的；第二，一篇文档并没有严格规定只能被分配给一个类别，而是与分类这个问题的主观性有关，可以采用置信度来评估[2]；第三，文本分类不等价与“判断一篇文章说的是什么”（依据主题的分类），还可以判断作者的写作风格，主观情绪乃至辨别真伪。文本分类也不是“网页分类”，网页中包含的信息更多也更复杂。

二、文本分类的方法

文本分类的研究可以追溯到上世纪六十年代，早期的文本分类主要是基于知识工程（Knowledge Engineering），通过手工定义一些规则来对文本进行分类，这种方法费时费力，且必须对某一领域有足够的了解，才能写出合适的规则。到上世纪九十年代，随着网上在线文本的大量涌现和机器学习的兴起，大规模的文本（包括网页）分类和检索重新引起研究者的兴趣[1]。

文本分类作为一个分类问题构造一个分类函数或分类模型（分类器），根据待分类数据的某些特征来进行匹配。主要问题是文本表示、特征的选择与分类器的构建。

1、文本表示：即将文本表示为计算机“可读”形式。文本的检索经常产生大偏差的结果，主要原因是对文本和用户需求的表示和相似度运算没有真正反映其语义，在语言中尤其是中文语言处理中文本的语义和语用信息很难转换成形式化表达，因此寻求从词汇角度出发的文本表示。

目前文本表示模型主要是Gerard Salton和McGill于1969年提出的向量空间模型(VSM)[3]