词向量与词向量拼接_2.2 语言模型和词向量 tensorflow词向量

----------------------------大纲--------------------------

1 随着模型不断更新

2 直接使用预先训练好的词向量如word2vec， glove

--------------------------------------------------------------

省去数据读取以及预处理模块

1 随着模型不断更新

1.1 train文件中输入语句用index表示

#表示最长的句子长度max_document_length

max_document_length=max([len(x.split(" "))for xin x_text])

vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)

#拿到句子中的index向量表示(注意这里是词的index)

x = list(vocab_processor.fit_transform(x_text))

1.2 模型文件中index向量转化为词向量

self.input_x = tf.placeholder(tf.int32, [None, sequence_length],name="input_x")

with tf.name_scope("embedding"):

#tf.random_uniform([vocab_size, embedding_size], -1.0,1.0)词向量采用均匀分布作为初始化

# trainable=Ture表示模型中不断迭代更新词向量的值，如果trainable=False表示采用第三方预先训练好的词向量结果

self.W &