python深度学习6.1 处理文本数据

预训练的词嵌入

我们对解压后的文件（一个 .txt 文件）进行解析，构建一个将单词（字符串）映射为其向
量表示（数值向量）的索引。

代码清单 6-10 解析 GloVe 词嵌入文件
 

glove_dir = '/Users/fchollet/Downloads/glove.6B'
embeddings_index = {}
f = open(os.path.join(glove_dir, 'glove.6B.100d.txt'))
for line in f:
values = line.split()
word = values[0]
coefs = np.asarray(values[1:], dtype='float32')
embeddings_index[word] = coefs
f.close()
print('Found %s word vectors.' % len(embeddings_index))

此时构建的是400000个单词的字典，

本例中仅使用10000个单词，

接下来，需要构建一个可以加载到 Embedding 层中的嵌入矩阵。它必须是一个形状为
(max_words, embedding_dim) 的矩阵，对于单词索引（在分词时构建）中索引为 i 的单词，
这个矩阵的元素 i 就是这个单词对应的 embedding_dim 维向量。注意，索引 0 不应该代表任何
单词或标记，它只是一个占位符。
代码清单 6-11 准备 GloVe 词嵌入矩阵

embedding_dim = 100
embedding_matrix = np.zeros((max_words, embedding_dim))
for word, i in word_index.items():
if i < max_words:
embedding_vector = embeddings_index.get(word)
if embedding_vector is not None:
embedding_matrix[i] = embedding_vector