如何在深度学习中使用开源Chinese Word Vectors
摘要:Chinese-Word-Vectors开源项目提供了100多种预训练模型,但在深度学习中使用时,加载预训练向量存在词表重复项问题。本文着重于解决加载问题。
1. 起因
去年半年一直在搭建我的NLP练习项目——为语音识别文本进行标点恢复,使用的技术如下所示:
- 词向量训练
- BiLSTM
- CRF
但是上面的技术在训练网络的时候,词向量是在训练中不断训练得到的。一方面这样的词向量更配合网络的结构,具有任务特定性;但是另一方面,受限于语料大小和计算资源,直接由自己的数据集训练出的词向量肯定是不够泛化,不够强健的。
2. Chinese-Word-Vectors技术方案存在的问题
时至今日,在2019年bert横扫NLP任务之后,使用预训练模型已经不再稀奇。使用预训练的模型可以用更少的训练资源得到较好的效果。即使是使用传统的word2vec也能有效提高模型的泛化性。
Chinese-Word-Vectors是北京师范大学和人民大学的研究者开源出来的100多个中文预训练词向量,所有向量都是在word2vec和skip-gram上训练出来的。
久仰大名,码下很久,但是未尝亲自试用。亲自使用后,便发现了一些问题。
- 如何读取从Chinese-Word-Vectors下载下来的词向量?
- 读取时发现词表有重复,导致存入python字典中后,导致词表大小和训练好的词向量矩阵不一致?
- 读取到的词向量矩阵如何载入到深度学习模型的词嵌入矩阵embedding中?
果然纸上得来终觉浅,绝知此事要躬行。
3. 问题解决方式
- 词向量文件本身是以文本方式存储的,第一行是词向量size信息,后面每一行是每个词和它的词向量。通过使用ngram2vec工具中的代码可以加载词向量(Chinese-Word-Vectors也使用了ngram2vec工具来训练):
def load_dense(path):
vocab_size, size = 0, 0
vocab = {
}
vocab["i2w"], vocab["w2i"] = [], {
}
with codecs.open(path, "r", "utf-8") as f:
first_line = True
for line in f