NLP实战 -中文文本分类问题：THUCNews数据集

1 THUCNews数据集与预处理

1.1 数据集下载

本文采用了清华NLP组提供的THUCNews新闻文本分类数据集的子集
数据下载链接：
THUCNews数据子集：https://pan.baidu.com/s/1hugrfRu 密码：qfud

1.2 数据量

该数据集使用了其中的10个分类，每个分类6500条，总共65000条新闻数据。
类别如下：
数据集共有三个文件，如下：
cnews.train.txt: 训练集(500010条)
cnews.val.txt: 验证集(50010条)
cnews.test.txt: 测试集(1000*10条)

1.3 预处理

data/cnews_loader.py为数据的预处理文件。

• read_file(): 读取文件数据;
• build_vocab(): 构建词汇表，使用字符级的表示，这一函数会将词汇表存储下来，避免每一次重复处理;
• read_vocab(): 读取上一步存储的词汇表，转换为{词：id}表示;
• read_category(): 将分类目录固定，转换为{类别: id}表