NLP之文本分类

文本自动分类简称文本分类（text categorization），是模式识别与自然语言处理密切结合的研究课题。传统的文本分类是基于文本内容的，研究如何将文本自动划分成政治的、经济的、军事的、体育的、娱乐的等各种类型。

目录

文本表示

文本向量化

向量的相似性度量（similarity）

文本特征选择方法

特征权重计算方法

分类器设计

文本分类评测指标

---

文本分类是在预定义的分类体系下，根据文本的特征（内容或属性），将给定文本与一个或多个类别相关联的过程。因此，文本分类研究涉及文本内容理解和模式分类等若干自然语言理解和模式识别问题。

文本分类任务的最终目的是要找到一个有效的映射函数，准确地实现域D×C到值T或F的映射，这个映射函数实际上就是我们通常所说的分类器。因此，文本分类中有两个关键问题：一个是文本的表示，另一个就是分类器设计。

根据分类知识获取方法的不同，文本自动分类系统大致可分为两种类型：基于知识工程（knowledge engineering, KE）的分类系统和基于机器学习（machine learning, ML）的分类系统。90年代以后，基于统计机器学习的文本分类方法日益受到重视，这种方法在准确率和稳定性方面具有明显的优势。系统使用训练样本进行特征选择和分类器参数训练，根据选择的特征对待分类的输入样本进行形式化，然后输入到分类器进行类别判定，最终得到输入样本的类别。

文本表示

文本向量化

一个文本表现为一个由文字和标点符号组成的字符串，由字或字符组成词，由词组成短语，进而形成句、段、节、章、篇的结构。要使计算机能够高效地处理真实文本，就必须找到一种理想的形式化表示方法，这种表示一方面要能够真实地反映文档的内容（主题、领域或结构等），另一方面，要有对不同文档的区分能力。

目前文本表示通常采用向量空间模型（vecto rspace model,VSM）。

下面首先给出VSM涉及的一些基本概念。
文档（document）：通常是文章中具有一定规模的片段，如句子、句群、段落、段落组直至整篇文章。
项／特征项（term/feature term）：特征项是VSM中最小的不可分的语言单元，可以是字、词、词组或短语等。一个文档的内容被看成是它含有的特征项所组成的集合。
项的权重（term weight）：对于含有n个特征项的文档，每一特征项tk都依据一定的原则被赋予一个权重wk，表示它们在文档中的重要程度。

这样一个文档D可用它含有的特征项及其特征项所对应的权重所表示。

一个文档在上述约定下可以看成是n维空间中的一个向量，这就是向量空间模型的由来。

因此采用向量空间模型进行文本表示时，需要经过以下两个主要步骤：
①根据训练样本集生成文本表示所需要的特征项序列D＝{t1，t2，…，td}；
②依据文本特征项序列，对训练文本集和测试样本集中的各个文档进行权重赋值、规范化等处理，将其转化为机器学习算法所需的特征向量。

向量的相似性度量（similarity）

任意两个文档D1和D2之间的相似系数Sim（D1，D2）指两个文档内容的相关程度（degree of relevance）。设文档D1和D2表示VSM中的两个向量：
D1＝D1（w11，w12，…，w1n）
D2＝D2（w21，w22，…，w2n）

那么，可以借助于n维空间中两个向量之间的某种距离来表示文档间的相似系数，常用的方法是使用向量之间的内积来计算。

如果考虑向量的归一化，则可使用两个向量夹角的余弦值来表示相似系数：