python结巴分词去掉虚词_结巴分词获取关键词时怎么过滤掉一些停用词？

一、中文文本处理流程：

1去除非中文字符

2.去除停用词(注意：现在网上有一些公开的停用词库,例如哈工大停用词表、四川大学机器智能实验室停用词库等 )

3.分词与词性标记(后面可以根据词性，指定去掉副词，名词，形容词等)

二、示例代码：

#运用jieba进行分词和词性标注

words_lst=pseg.cut(chinese_only)

#去除停用词 存储分词后结果

words=[]

for word,flag inwords_lst:

if word not in stop_words and flag in ['v' ,'n']:

words.append(word)

proc_text=''.join(words)

本人长期关注AI算法与最新应用,NLP/CNN/LSTM/TRANSFORMER/BERT

欢迎关注本人主页《AI工匠Book》，共同探讨AI

NLP更多实战案例代码：https://blog.csdn.net/weixin_37479258/article/details/99349203​blog.csdn.net

————————————————

CSDN博主「AI工匠book」的原创文章，遵循CC 4.0 by-sa版权协议