Python深度学习（用卷积神经网络处理序列）--学习笔记（十四）

用卷积神经网络处理序列

• 第5章我们学习了卷积神经网络（convnet），并知道它在计算机视觉问题上表现出色，原因在于它能够进行卷积运算，从局部输入图块中提取特征，并能够将表示模块化，同时可以高效地利用数据。这些性质让卷积神经网络在计算机视觉领域表现优异，同样也让它对序列处理特别有效。时间可以被看作一个空间维度，就像二维图形的高度或宽度。
• 对于某些序列处理问题，这种一维卷积神经网络的效果可以媲美RNN，而且计算代价通常要小很多。最近，一维卷积神经网络（通常与空洞卷积核（dilated kernel）一起使用）已经在音频生成和机器翻译领域取得了巨大成功。除了这些具体的成就，人们还早已知道，对于文本分类和时间序列预测等简单任务，小型一维卷积神经网络可以替代RNN，而且速度更快。

6.4.1 理解序列数据的一维卷积

• 前面介绍的卷积层都是二维卷积，从图像张量中提取二维图块并对每个应用相同的变换。按照相同的方法也可以使用一维卷积，从序列中提取局部一维序列段（即子序列）。
• 这种一维卷积层可以识别序列中的局部模式。因为对每个序列段执行相同的输入变换，所以在句子中某个位置学到的模式稍后可以在其他位置被识别，这使得一维卷积神经网络具有平移不变性（对于时间平移而言）。举个例子，使用大小为5的卷积窗口处理字符序列的一维卷积神经网络，应该能够学习长度不大于5的单词或单词片段，并且应该能够在输入句子中的任何位置识别这些单词或单词段。因此，字符级的一维卷积神经网络能够学会单词构词法。

6.4.2 序列数据的一维池化

• 一维池化运算：从输入中提取一维序列段（即子序列），然后输出其最大值（最大池化）或平均值（平均池化）。与二维卷积神经网络一样，该运算也是用于降低一维输入的长度（子采样）。

6.4.3 实现一维卷积神经网络

• Keras中的一维卷积神经网络是Conv1D层，其接口类似于Conv2D。它接收的输入时形状为（samples, time, features）的三维张量，并返回类似形状的三维张量。卷积窗口是时间轴上的一维窗口（时间轴是输入张量的第二个轴）。

# 准备IMDB数据
from keras.datasets import imdb
from keras.preprocessing import sequence

max_features = 10000
max_len = 500

print('Loading data...')
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)
print(len(x_train), 'train sequences')
print(len(x_test), 'test sequences')

print('Pad sequences (samples x time)')
x_train = sequence.pad_sequences(x_train, maxlen=max_len)
x_test = sequence.pad_sequences(x_test, maxlen=max_len)
print('x_train shape:', x_train.shape)
print('x_test shape:', x_test.shape)

• 一维卷积神经网络的架构与第5章的二维卷积神经网络相同，它是Conv1D层和MaxPooling1D层的堆叠，最后是一个全局池化层或Flatten层，将三维输出转换为二维输出，让你可以向模型中添加一个或多个Dense层，用于分类或回归。
• 不过二者有一点不同：一维卷积神经网络可以使用更大的卷积窗口。对于二维卷积层 ，3x3的卷积窗口包含3x3=9个特征向量；但对于一维卷积层，大小为3的卷积窗口只包含3个卷积向量。因此，可以轻松使用大小等于7或9的