建立word2id词典
import collections
import jieba
file= "中华女子学院:本科层次仅1专业招男生 3两天价网站背后重重迷雾:做个网站究竟要多少钱 4"
count=[]
b=jieba.lcut(file)
count.extend(collections.Counter(b).most_common(5)) # 排序
dict={}
for word,_ in count:
dict[word]= len(dict) #建立word2id词典
dict.update({'PAD':len(dict),'UNK':len(dict)+1}) # 合并词典
print(dict)
结果
{':': 0, 'PAD': 7, 'UNK': 8, '\t': 3, '网站': 4, '中华': 5, '女子': 6}