jieba分词

最新推荐文章于 2024-02-25 08:24:36 发布

VIP文章 Seal_Wings

最新推荐文章于 2024-02-25 08:24:36 发布

阅读量490

点赞数

分类专栏： python 数据清洗

本文链接：https://blog.csdn.net/seal_wings/article/details/114240070

版权

本文关键点

添加自定义词典
提供了jieba中标注词性的规范
针对txt文本文件
做了一定的数据预处理
去除停用词
使用的词库：ChineseSemanticKB

下面直接上代码

# encoding: UTF-8

import re
import jieba

# 停用词路径
filepath = 'D:\graproj\data\stopword.txt'

# make Chinese text clean
def clean_zh_text(text):
    # keep English, digital and Chinese(同时不更改文章原意)

    comp = re.compile('[^A-Z^a-z^0-9^\u4e00-\u9fa5^%^.^×]')
    # [^] 匹配任意一个不在中括号里的字符
    return comp.sub(</