gensim是自然语言处理中常用的一个Python库,常被用于word2vec和语义主题提取:
gensim中用于获取语义主题的常用方法是计算tfidf值。tfidf通过提取语义中的关键词信息来表达语音信息。
主要概念:
cropus:
存储的是为每一句话中的次的id和对应词在该句话中的词频。
如:我在学习gensim,利用gensim提取语义信息;
词 | 我 | 在 | 学习 | gensim | 利用 | 提取 | 语义 | 信息 |
id | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
cropus存取的信息为:
[ (0, 1), (1, 1), (2, 1), (3, 2), (4, 1), (5, 1), (6, 1), (7, 1) ]
TfidfModel:
存取的是词与其对应的tfidf值,tfidf值通过文章的数量与该词出现的文章总数计算得到。