python如何预处理文本分类_文本分类二之文本预处理

本文介绍了Python进行文本预处理的步骤,包括选择文本范围、建立分类语料库、文本格式转换、句子边界检测,以及使用jieba进行分词处理。通过示例详细展示了如何对训练集和测试集进行分词,并将分词后的文本转换为Bunch对象,为后续的文本分类任务做好准备。
摘要由CSDN通过智能技术生成

一. 文本预处理

文本处理的核心任务是要把非结构化和半结构化的文本转换成结构化的形式,即向量空间模型,在这之前,必须要对不同类型的文本进行预处理,在大多数文本挖掘任务中,文本预处理的步骤都是相似的,基本步骤如下:

1.选择处理的文本范围

2.建立分类文本语料库

2.1训练集语料(已经分好类的文本资源)

目前较好的中文分词语料库有复旦大学谭松波中文分词语料库和搜狗新闻分类语料库。复旦大学的语料库小一些,但是质量很高。

下文中采用的中文语料库。

未分词训练语料库的路径G:\workspace\TextClassification\train_corpus_small

语料目录结构如图:

未分词训练语料一共包含10个子目录,目录名称为已预料类别。该类所属的训练文本就位于子目录中,以连续的自然数编号。

2.2测试集语料

待分类的文本语料,可以是训练集的一部分,也可以是外部来源的文本语料。

本文选用的测试集下载

未分词测试语料库的路径G:\workspace\TextClassification\test_corpus

3.文本格式转换

不同格式的文本不论采取何种处理方式,都要统一转换为纯文本文件。

4.检测句子边界

标记句子的结束

二. 分词介绍

将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成次序列的过程。解决中文分词的算法是基于概率图模型的条件随机场(CRF)。文本结构化表示简单分为四大类:词向量空间模型、主题模型、依存句法的树

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值