python如何预处理文本分类_文本分类二之文本预处理

一. 文本预处理

文本处理的核心任务是要把非结构化和半结构化的文本转换成结构化的形式，即向量空间模型，在这之前，必须要对不同类型的文本进行预处理，在大多数文本挖掘任务中，文本预处理的步骤都是相似的，基本步骤如下：

1.选择处理的文本范围

2.建立分类文本语料库

2.1训练集语料(已经分好类的文本资源)

目前较好的中文分词语料库有复旦大学谭松波中文分词语料库和搜狗新闻分类语料库。复旦大学的语料库小一些，但是质量很高。

下文中采用的中文语料库。

未分词训练语料库的路径G:\workspace\TextClassification\train_corpus_small

语料目录结构如图：

未分词训练语料一共包含10个子目录，目录名称为已预料类别。该类所属的训练文本就位于子目录中，以连续的自然数编号。

2.2测试集语料

待分类的文本语料，可以是训练集的一部分，也可以是外部来源的文本语料。

本文选用的测试集下载

未分词测试语料库的路径G:\workspace\TextClassification\test_corpus

3.文本格式转换

不同格式的文本不论采取何种处理方式，都要统一转换为纯文本文件。

4.检测句子边界

标记句子的结束

二. 分词介绍

将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成次序列的过程。解决中文分词的算法是基于概率图模型的条件随机场(CRF)。文本结构化表示简单分为四大类：词向量空间模型、主题模型、依存句法的树