【NLP】NO2:中文关键词提取

一、基于TF-IDF提取关键词

import jieba.analyse
#withWeight表示是否需要返回关键词权重值
#allowPOS表示指定的词性
word = " ".join(jieba.analyse.extract_tags(word,topK=20,withWeight=False,allowPOS=(['n','v'])))

二、基于TextRank提取关键词

1.核心思想:文本中的词看成图中的节点,通过边相互连接,不同节点的权重不同,权重高的节点作为关键词。
2.主要步骤
(1)将文本按照完整句子分割,对每个句子,进行分词和词性标注,去除停用词,留下候选关键词
(2)构建候选关键词图,采用共现关系构建边,如果词汇在长度为k的窗口中共现,则两点间存在边
(3)根据公式,迭代计算各节点的权重,直到收敛
在这里插入图片描述
wij表示边的权重,ws(vj)表示邻居节点j的权重,vj表示节点j的权重,d表示阻尼系数,一般取值为0.85
(4)节点权重倒序,选择top n
(5)选择的n各单词,在原始文本中标记,如果形成相邻词组,则组合成多词关键词

import jieba.analyse
word = " ".join(jieba.analyse.textrank(word,topK=20,withWeight=False,allowPOS=(['n','v'])))

三、基于LDA主题模型提取关键词

基于Gensim库,进行文件加载、分词、去停用词、构建词袋模型、LDA模型训练、结果可视化

from gensim import corpora,models,similarities
import gensim
#构建词袋模型
dic = corpora.Dictionary(word)
corpus = [dic.doc2bow(words) for words in word]
#LDA模型,主题的个数
lda = gensim.models.ldamodel.LdaModel(corpus=corpus,id2word=dic,num_topics=10)
#第一个主题的前5个词
lda.print_topic(1,topn=5)
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页