中文文本分词常用停用词表

殷连靖Harlan

于 2024-09-05 23:00:36 发布

阅读量277

点赞数 4

本文链接：https://blog.csdn.net/gitblog_09767/article/details/141943994

版权

中文文本分词常用停用词表

stopwords-master.zip项目地址:https://gitcode.com/open-source-toolkit/99d31

本仓库提供了一系列常用的中文停用词表，这些停用词表在处理中文文本分词时非常有用，特别是在使用jieba分词工具时。以下是本仓库提供的停用词表及其对应的文件名：

中文停用词表: cn_stopwords.txt
哈工大停用词表: hit_stopwords.txt
百度停用词表: baidu_stopwords.txt
四川大学机器智能实验室停用词库: scu_stopwords.txt

使用方法

在使用jieba分词工具时，可以通过以下方式载入停用词表：

import jieba

# 读取停用词表
stopwords = set()
with open('path_to_stopwords_file.txt', 'r', encoding='utf-8') as f:
    for line in f:
        stopwords.add(line.strip())

# 分词并过滤停用词
text = "这是一个需要分词的文本"
words = jieba.lcut(text)
filtered_words = [word for word in words if word not in stopwords]

print(filtered_words)

请将path_to_stopwords_file.txt替换为实际的停用词表文件路径。