解读源码:原始输入其实是one-hot,wi其实就是lookuptable,所有的wordvector加和求平均直接得到隐藏层,隐藏层经过wo矩阵得到输出,再进行softmax。
需求一:已经有其他样本训练好的词向量,想直接用,迁移学习
如果有预训练好的wordvec,利用参数 -pretrainedVectors 指定文件就行,这个是用与训练的文件初始化参数,迭代过程中词向量仍会变。如果想要迭代过程中输入到hidden的过程不变,即词向量不变,注释掉model.cc里的wi更新即可,亲测输出的.vec文件里的值跟指定的与训练里的值一样。
需求二:已经有其他训练好的模型,想在这个基础上重训