情感分类--中文语料

最新推荐文章于 2023-12-11 22:16:23 发布

rumusan

最新推荐文章于 2023-12-11 22:16:23 发布

阅读量1.7k

点赞数 1

文章标签： NLP

本文链接：https://blog.csdn.net/rumusan/article/details/62237487

版权

本文记录了使用nltk实现中文语料分类的过程，包括转换GB2312编码为UTF-8，使用jiaba进行中文分词，加载自定义语料库，并介绍了分类的基本步骤。后续将进行更细致的特征选择和模型优化。

摘要由CSDN通过智能技术生成

title: 情感分类–中文语料

data: 2017-03-04

tags: NLTK

折腾了几天终于上午用nltk实现了中文语料的分类。把整个流程记录一下。

中文语料

用的是谭松波老师的酒店分类的语料库，有四个版本：2000(balanced)、4000(balanced)、6000(balanced)、10000(unbalanced)。语料库结构如下：

-ChnSentiCorp_htl_ba_2000
 |-neg
   |-neg.0.txt ~ neg.999.txt
 |-pos
   |-pos.0.txt ~ pos.999.txt

因为该语料库编码格式为GB2312，为了后续在python和nltk中好处理，将其转化为UTF-8编码格式，使用了一个转码的小工具GB2312<–>UTF-8 。统一转码之后，将进行中文分词，使用jiaba。

import glob
import jieba 
i=0;
for file in glob.glob(r"C:\Users\rumusan\Desktop\ChnSentiCorp_htl_ba_2000\pos\*.txt"):
    with open(file,

关注