本文关键点
添加自定义词典
提供了jieba中标注词性的规范
针对txt文本文件
做了一定的数据预处理
去除停用词
使用的词库:ChineseSemanticKB
下面直接上代码
# encoding: UTF-8
import re
import jieba
# 停用词路径
filepath = 'D:\graproj\data\stopword.txt'
# make Chinese text clean
def clean_zh_text(text):
# keep English, digital and Chinese(同时不更改文章原意)
comp = re.compile('[^A-Z^a-z^0-9^\u4e00-\u9fa5^%^.^×]')
# [^] 匹配任意一个不在中括号里的字符
return comp.sub(</