区别:
1.GlobalMaxPooling1D:
在steps维度(也就是第二维)对整个数据求最大值。
比如说输入数据维度是[10, 4, 10],那么进过全局池化后,输出数据的维度则变成[10, 10]。
2.MaxPooling1D:
也是在steps维度(也就是第二维)求最大值。但是限制每一步的池化的大小。 比如,输入数据维度是[10, 4, 10],池化层大小pooling_size=2,步长stride=1,那么经过MaxPooling(pooling_size=2, stride=1)后,输出数据维度是[10, 3, 10]。
实例:
只考虑一条样本,可以认为是SGD(随机梯度下降),假设这条样本三个字,词向量(eg.word2vec)如下所示,数据维度是 [1,4,3]。一般我们不会直接将数据送进池化层,此处假设更方便。
- MaxPooling1D:
假设我们通过一个MaxPooling1D(pool_size=2, strides=1)
的池化层,那么数据的变化过程如下所示。步长是1,池化层大小是2。
the [[.7, -0.2, .1] |池化大小是2,所以一次选两个字,首先对
boy [.8, -.3, .2] | 前两个向量求最大值,也就是the和boy。 | 步长是1,移动到
will [.2, -.1, .4] | boy和will
live [.4 -.4, .8]]
最后返回的维度是 [1,3,3]。
- GlobalMaxPooling1D:
全局最大,返回的是一个二维张量,维度是 [1,3],也就是 live对应的词向量。
GlobalMaxPooling1D的前后维度变化可以简单总结为:
- 输入维度: 3维张量
(batch_size, steps, features)
- 输出维度: 2维张量
(batch_size, features)
模型比较:
可以用以下代码构造模型,比较两个不同的池化层前后数据维度的变化情况。
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, LSTM, GlobalMaxPooling1D
D = np.random.rand(10, 6, 10)
model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(MaxPooling1D(pool_size=2, strides=1))
model.add(LSTM(10))
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')
# print the summary to see how the dimension change after the layers are
# applied
print(model.summary())
# try a model with GlobalMaxPooling1D now
model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(GlobalMaxPooling1D())
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')
print(model.summary())