gensim.corpora中Dictionaryd的用法

学点儿啥

已于 2022-03-08 11:34:56 修改

阅读量1.9k

点赞数 3

文章标签： python

于 2021-11-24 12:36:48 首次发布

本文链接：https://blog.csdn.net/weixin_45747396/article/details/121512711

版权

该博客介绍了gensim.corpora.Dictionary的使用方法，包括如何从二维列表创建字典，查看字典信息如单词id、文档频率、词频等，并展示了如何添加新语句、过滤词频以及将文本转换为词袋模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

gensim.corpora中Dictionaryd的用法

调用

from gensim.corpora import Dictionary
dictionary = Dictionary(corpus)
这里的corpus需要时二维列表形式，如
corpus = [['我', '在', '玉龙雪山', '我', '我', '我', '我'], ['我', '喜欢', '玉龙雪山'], ['我', '还要', '去', '玉龙雪山']

得到的dictionary事宜个包含很多信息的集合，若要对其中信息进行查看可如下操作：
输出dictionary

print(str(dictionary))
>>>"Dictionary(75 unique tokens: ['\\n', '23', '、', '厂', '台积']...)"

查看字典，{单词id，在所有文档中共出现几次}

print(dictionary.dfs)    #字典，{单词id，在多少文档中出现}
>>>{1: 7, 0: 1, 2: 3, 3: 1, 5: 1, 4: 1}

查看字典，{单词id，在多少文档中出现}

print(dictionary.cfs)
>>>{1: 3, 0: 1, 2: 3, 3: 1, 5: 1, 4: 1}

查看文档数目：

dictionary.num_docs     #文档数目
>>> 3

查看 dictionary 中 {词的id：词}

print (dict(dictionary. items()))
或者 
print(dictionary.id2token)
>>> {0: '在', 1: '我', 2: '玉龙雪山', 3: '喜欢', 4: '去', 5: '还要'}

查看 {词：词的id}

print(dictionary.token2id)
>>> {'在': 0, '我': 1, '玉龙雪山': 2, '喜欢': 3, '去': 4, '还要': 5}

查看共有多少个词，多少个不重复的词

print(dictionary.num_pos) #查看所有词的个数

print(dictionary.num_nnz) #查看所有词的个数

添加新的语句：

newlist=jieba.lcut('美国以应对芯片危机，美国出现投票信任危机')
result, missing = dictionary.doc2bow(newlist, allow_update=True, return_missing=True) # allow_update : 更新当前字典；return_missing : 返回字典中不存在的词,result为b文章转换得到的词袋，列表[(单词id，词频)]
result
>>> [(6, 1), (7, 1), (8, 1), (9, 1), (10, 1), (11, 1), (12, 2), (13, 1), (14, 1)]  #词袋 [(单词id，单词出现频率)]
missing
>>>[] #不在字典中的词及其词频，字典[（单词，词频）]
print(dict(dictionary.items()))  #查看加入后的{词：词id}
>>>{0: '在', 1: '我', 2: '玉龙雪山', 3: '喜欢', 4: '去', 5: '还要', 6: '以', 7: '信任危机', 8: '出现', 9: '危机', 10: '应对', 11: '投票', 12: '美国', 13: '芯片', 14: '，'}

for id, freq in result:
    print(id, dictionary.id2token[id], freq) #查看bow的内容
>>>
6 以 1
7 信任危机 1
8 出现 1
9 危机 1
10 应对 1
11 投票 1
12 美国 2
13 芯片 1
14 ， 1

过滤词频

过滤文档频率大于 no_below，小于 no_above*num_docs的词
dictionary.filter_extremes(no_below=2,no_above=0.5,keep_n=10)
print(dictionary.dfs) #查看结果

文章参考：该博客