1、训练词向量的时候
输入A 预测A的下一个词是什么,如果词表特别大的话,达到5000的话,那么相当于一个5万分类的任务,所以可以将其改变输入AB两个词,预测B是A词下一个词的概率。因为语料中所有的上下文中的输出标签都是1,所以要自己构造target为0 的输入样例,其实,这就是负采样的原理。word2vector是无监督的,所以也不用自己打标签times
2、LSTM
读数据---每个词转换成ID----转换成vector--
input 【batchsize, timestamp(句子长度), 向量维度 】
output 【batchsize, timestamp】但一般取最后一个,所以一般会用【-1】
3、一般实战流程
(1)制作词向量
(2)词和ID的映射 【注:tensorflow中一般是根据词去寻找它的ID,然后利用ID再去寻找这个词对应的向量】
(3)构建网络框架
(4)训练模型
(5)测试一下