深度学习关键网络架构及其在Keras中的应用

最近撸完了《Python深度学习》，对深度学习又加深了认识，“深度学习真的是一门艺术”，以下是原书第9章的总结部分，很多heuristic知识都是前人总结下来的，个人觉得很有借鉴意义，因此mark下。

首先，我们来快速看一下输入模式与适当的网络架构之间的对应关系。

• 向量数据：密集连接网络（ Dense 层）。
• 图像数据：二维卷积神经网络。
• 声音数据（比如波形）：一维卷积神经网络（首选）或循环神经网络。
• 文本数据：一维卷积神经网络（首选）或循环神经网络。
• 时间序列数据：循环神经网络（首选）或一维卷积神经网络。
• 其他类型的序列数据：循环神经网络或一维卷积神经网络。如果数据顺序非常重要（比如时间序列，但文本不是），那么首选循环神经网络。
• 视频数据：三维卷积神经网络（如果你需要捕捉运动效果），或者帧级的二维神经网络（用于特征提取）+循环神经网络或一维卷积神经网络（用于处理得到的序列）。
• 立体数据：三维卷积神经网络。

下面快速回顾一下每种网络架构的特点：

1.密集连接网络(Dense)

密集连接网络是 Dense 层的堆叠，它用于处理向量数据（向量批量）。这种网络假设输入特征中没有特定结构：之所以叫作密集连接，是因为 Dense 层的每个单元都和其他所有单元相连接。这种层试图映射任意两个输入特征之间的关系，它与二维卷积层不同，后者仅查看局部关系。

密集连接网络最常用于分类数据（比如输入特征是属性的列表），它还用于大多数网络最终分类或回归的阶段。

1.1对于二分类问题（binary classification）

层堆叠的最后一层是使用 sigmoid 激活且只有一个单元的 Dense 层，并使用 binary_crossentropy 作为损失。目标应该是 0 或 1。

from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(num_input_features,)))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy')

1.2对于单标签多分类问题（single-label categorical classification，每个样本只有一个类别，不会超过一个）

层堆叠的最后一层是一个 Dense 层，它使用 softmax 激活，其单元个数等于类
别个数。如果目标是 one-hot 编码的，那么使用 categorical_crossentropy 作为损失；如果目标是整数，那么使用 sparse_categorical_crossentropy 作为损失。

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(num_input_features,)))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_classes, activation='softmax'))
#目标是one-hot编码
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
#目标是整数
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')

1.3对于多标签多分类问题（multilabel categorical classification，每个样本可以有多个类别）

层堆叠的最后一层是一个 Dense 层，它使用 sigmoid 激活，其单元个数等于类别个数，并使用 binary_crossentropy 作为损失。目标应该是 k-hot 编码的。

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(num_input_features,)))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_classes, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy')

1.4对于连续值向量的回归（regression）问题

层堆叠的最后一层是一个不带激活 Dense 层，其单元个数等于你要预测的值的个数（通常只有一个值，比如房价）。有几种损失可用于回归问题，最常见的是mean_squared_error （均方误差，MSE）和 mean_absolute_error （平均绝对误差，MAE）。

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(num_input_features,)))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_values))
model.compile(optimizer='rmsprop', loss='mse')

2. 卷积神经网络

卷积层能够查看空间局部模式，其方法是对输入张量的不同空间位置（图块）应用相同的几何变换。这样得到的表示具有平移不变性，这使得卷积层能够高效利用数据，并且能够高度模块化。这个想法适用于任何维度的空间，包括一维（序列）、二维（图像）、三维（立体数据）等。你可以使用 Conv1D 层来处理序列（特别是文本，它对时间序列的效果并不好，因为时间序列通常不满足平移不变的假设），使用 Conv2D 层来处理图像，使用 Conv3D 层来处理立体数据。

卷积神经网络或卷积网络是卷积层和最大池化层的堆叠。池化层可以对数据进行空间下采样，这么做有两个目的：随着特征数量的增大，我们需要让特征图的尺寸保持在合理范围内；让后面的卷积层能够“看到”输入中更大的空间范围。卷积神经网络的最后通常是一个 Flatten 运算或全局池化层，将空间特征图转换为向量，然后再是 Dense 层，用于实现分类或回归。注意，大部分（或者全部）普通卷积很可能不久后会被深度可分离卷积（depthwise separable convolution， SeparableConv2D 层）所替代，后者与前者等效，但速度更快、表示效率更高。对于三维、二维和一维的输入来说都是如此。如果你从头开始构建一个新网络，那么一定要使用深度可分离卷积。 SeparableConv2D 层可直接替代 Conv2D 层，得到一个更小、更快的网络，在任务上的表现也更好。

一个常见的图像分类网络如下所示（本例是多分类）。

model = models.Sequential()
model.add(layers.SeparableConv2D(32, 3, activation='relu',
input_shape=(height, width, channels)))
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.MaxPooling2D(2))
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.MaxPooling2D(2))
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.GlobalAveragePooling2D())
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_classes, activation='softmax'))
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')

3 .循环神经网络

循环神经网络（RNN，recurrent neural network）的工作原理是，对输入序列每次处理一个时间步，并且自始至终保存一个状态（state，这个状态通常是一个向量或一组向量，即状态几何空间中的点）。如果序列中的模式不具有时间平移不变性（比如时间序列数据，最近的过去比遥远的过去更加重要），那么应该优先使用循环神经网络，而不是一维卷积神经网络。

Keras 中有三种 RNN 层： SimpleRNN 、 GRU 和 LSTM 。对于大多数实际用途，你应该使用GRU 或 LSTM 。两者中 LSTM 更加强大，计算代价也更高。你可以将 GRU 看作是一种更简单、计算代价更小的替代方法。

想要将多个 RNN 层逐个堆叠在一起，最后一层之前的每一层都应该返回输出的完整序列（每个输入时间步都对应一个输出时间步）。如果你不再堆叠更多的 RNN 层，那么通常只返回最后一个输出，其中包含关于整个序列的信息。
下面是一个单层 RNN 层，用于向量序列的二分类。

model = models.Sequential()
model.add(layers.LSTM(32, input_shape=(num_timesteps, num_features)))
model.add(layers.Dense(num_classes, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy')

下面是 RNN 层的堆叠，用于向量序列的二分类。

model = models.Sequential()
#三层堆叠
model.add(layers.LSTM(32, return_sequences=True,input_shape=(num_timesteps, num_features)))
model.add(layers.LSTM(32, return_sequences=True))
model.add(layers.LSTM(32))
#链接Dense
model.add(layers.Dense(num_classes, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy')

欢迎各位童鞋指正~
路漫漫其修远兮~