Python从文本构建词典

背景信息

本文实现基于输入英文文本的词典构建功能，构建的词典的key为文本中出现的单词，对应的value按如下规律取值：输入文本中词频最大的词对应的value取值为0，词频次最大的取值为1，依次类推，词频最低的词的value的取值为（字典的长度-1）。本文主要是为之后词向量训练做准备工作。

说明：如果输入为英文文本，则可以直接处理；如果是中文文本，则需要先进行分词等预处理工作，并且最终输出的字典中，key是编码，而不是汉字。

详细代码

def build_dict(file_name, min_word_freq=50):
    word_freq = word_count(file_name) # 参见前一篇博客中的定义：https://blog.csdn.net/wiborgite/article/details/79870323
    word_freq = filter(lambda x: x[1] > min_word_freq, word_freq.items()) # filter将词频数量低于指定值的单词删除。
    word_freq_sorted = sorted(word_freq, key=lambda x: (-x[1], x[0]))
    # key用于指定排序的元素，因为sorted默认使用list中每个item的第一个元素从小到
    #大排列，所以这里通过lambda进行前后元素调序，并对词频去相反数，从而将词频最大的排列在最前面
    words, _ = list(zip(*word_freq_sorted))
    word_idx = dict(zip(words, xrange(len(words))))
    word_idx['<unk>'] = len(words) #unk表示unknown，未知单词
    return word_idx

输入参数

file_name: 表示输入文件名，类型String

min_word_freq：表示最低可接受的词频数量，如果文本中某个单词出现的次数少于该值，将被丢弃。类型int，默认值为50

输出参数

返回值为dict。

测试示例

如下示例在Jupyter Notebook中实现，输入文件为《教父》英文小说，通过上述函数输出词典。