LSTM/GRU在文本分类、情感分析及语言建模等方面有很大的用处,本文主要对这两种方法的tensorflow和keras实现进行分析
1.LSTM/GRU的tensorflow实现
a.文本处理
一般来说, 需要先把句子划分为词语(对于英文来说,直接将句子划分为单词的列表即可;对于中文,需要对句子进行分词,本文的讲述以英文为例)
from tensorflow.contrib import learn
maxlen = 100 #句子中保留词语的长度为100,需进行padding或者clipping、
vocab_processor = learn.preprocessing.VocabularyProcessor(maxlen)
pretrain = vocab_processor.fit(vocab) #vocab指词表
X_indexes = np.array(list(vocab_processor.transform(list_sentences_train))) #list_sentences_train指词列表
X_test_indexes = np.array(list(vocab_processor.transform(list_sentences_test)))
b.word embbedding初始化
word embbedding初始化的方法有2种:直接随机初始化和采用预训练的词向量模型
(1). 直接初始化
labels = tf.placeholder(tf.float32, [None, class_num])
input_data = tf.placeholder(tf.int64, [None, maxlen])
embbedding_vecs = tf.Variable(tf.random_normal([word_count, embbedding_size], -1, 1), name="word_embbedings")
x = tf.nn.embedding_lookup(params=embbedding_vecs, ids=input_data)
(2). 预训练的词向量模型初始化