Keras文档程序分析 - 2

目录

基于LSTM的序列分类

关于词嵌入向量

关于LSTM

基于1D卷积的序列分析

关于全局平均池化（GlobalAveragePooling）

---

基于LSTM的序列分类

max_features = 1024
model = Sequential()
model.add(Embedding(max_features, output_dim=256))
model.add(LSTM(128))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)

 

关于词嵌入向量

代码中，Embedding是将正整数转换为固定尺寸的稠密向量。

使用数学模型处理文本语料的第一步就是把文本转换成数学表达，有两种方法。第一种方法可以通过one-hot矩阵表示一个单词，one-hot矩阵是指每一行有且只有一个元素为1，其余元素为0的矩阵，例如：

one-hot的表示方式很直观，但是有两个缺点：

• 第一，矩阵的每一维长度都是字典的长度，比如字典包含10000个单词，那么每个单词对应的one-hot向量就是1*10000的向量，而这个向量只有一个位置为1，其余都是0，浪费空间，不利于计算
• 第二，one-hot矩阵相当于简单地给每个单词编了个号，但是单词和单词之间的关系却完全体现不出来。比如"cat"和"mouse"之间的关联性要高于"cat"和"cellphone"，这种关系在one-hot表示中就没有体现出来。

WordEmbedding解决了这两个问题。WordEmbedding矩阵给每个单词分配一个固定长度的向量表示，这个长度可以自从设定，实际上会远小于字典长度。而且这两个单词向量之间的夹角值可以作为他们之间关系的一个衡量，如：

通过简单的余弦函数，我们就可以计算两个单词之间的相关性，简单高效：

 

关于LSTM

LSTM(128)表示输入空间的维度为128.

更多关于LSTM的知识请参阅其他资料。

基于1D卷积的序列分析

# 基于1D卷积的序列分析
seq_length = 64
model = Sequential()
model.add(Conv1D(64, 3, activation='relu', input_shape=(seq_length, 100)))
model.add(Conv1D(64, 3, activation='relu'))
model.add(MaxPooling1D(3))
model.add(Conv1D(128, 3, activation='relu'))
model.add(Conv1D(128, 3, activation='relu'))
model.add(GlobalAveragePooling1D())
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)

关于全局平均池化（GlobalAveragePooling）

全局平均池化就是将特征图全局平均一下输出一个值，比如该代码中倒数第三层用了128的大小为3的卷积，那么倒数第三层的大小为，经过全局平均池化之后的大小为