建立word2id词典

建立word2id词典

import collections
import jieba

file= "中华女子学院：本科层次仅1专业招男生	3两天价网站背后重重迷雾：做个网站究竟要多少钱	4"
count=[]
b=jieba.lcut(file)
count.extend(collections.Counter(b).most_common(5))  # 排序

dict={}
for word,_ in count:
    dict[word]= len(dict)   #建立word2id词典
    dict.update({'PAD':len(dict),'UNK':len(dict)+1}) # 合并词典
print(dict)

结果

{'：': 0, 'PAD': 7, 'UNK': 8, '\t': 3, '网站': 4, '中华': 5, '女子': 6}