七、卷积神经网络

最新推荐文章于 2024-07-13 21:34:41 发布

xlw_0579

最新推荐文章于 2024-07-13 21:34:41 发布

阅读量1k

点赞数 19

分类专栏： Keras 文章标签： cnn 人工智能神经网络

本文链接：https://blog.csdn.net/xlw_6569/article/details/136175131

版权

Keras 专栏收录该内容

16 篇文章 1 订阅

订阅专栏

卷积神经网络，也叫 convnet，它是计算机视觉应用几乎都在使用的一种深度学习模型。

实例化一个小型的卷积神经网络

from keras import layers 
from keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1))) 
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu')) 
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))

卷积神经网络接收形状为 (image_height, image_width, image_channels)的输入张量（不包括批量维度）。
本例中设置卷积神经网络处理大小为 (28, 28, 1) 的输入张量，这正是 MNIST 图像的格式。
我们向第一层传入参数 input_shape=(28, 28, 1) 来完成此设置。

model.summary()

Layer (type) Output Shape Param #
=================================================================
conv2d_1 (Conv2D) (None, 26, 26, 32) 320

max_pooling2d_1 (MaxPooling2D) (None, 13, 13, 32) 0

conv2d_2 (Conv2D) (None, 11, 11, 64) 18496

max_pooling2d_2 (MaxPooling2D) (None, 5, 5, 64) 0

conv2d_3 (Conv2D) (None, 3, 3, 64) 36928
=================================================================
Total params: 55,744
Trainable params: 55,744
Non-trainable params: 0

每个 Conv2D 层和 MaxPooling2D 层的输出都是一个形状为 (height, width, channels) 的 3D 张量。宽度和高度两个维度的尺寸通常会随着网络加深而变小。通道数量由传入 Conv2D 层的第一个参数所控制（32 或 64）。

在卷积神经网络上添加分类器

将最后的输出张量［大小为 (3, 3, 64)］输入到一个密集连接分类器网络中，
即 Dense 层的堆叠，这些分类器可以处理 1D 向量，而当前的输出是 3D 张量。
首先，我们需要将 3D 输出展平为 1D，然后在上面添加几个 Dense 层。

model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))

model.summary()

Layer (type) Output Shape Param #

conv2d_1 (Conv2D) (None, 26, 26, 32) 320

max_pooling2d_1 (MaxPooling2D) (None, 13, 13, 32) 0

conv2d_2 (Conv2D) (None, 11, 11, 64) 18496

max_pooling2d_2 (MaxPooling2D) (None, 5, 5, 64) 0

conv2d_3 (Conv2D) (None, 3, 3, 64) 36928
flatten_1 (Flatten) (None, 576) 0

dense_1 (Dense) (None, 64) 36928

dense_2 (Dense) (None, 10) 650

Total params: 93,322
Trainable params: 93,322
Non-trainable params: 0

在进入两个 Dense 层之前，形状 (3, 3, 64) 的输出被展平为形状 (576,) 的向量。

在 MNIST 图像上训练卷积神经网络

from keras.datasets import mnist
from keras.utils import to_categorical
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
train_images = train_images.reshape((60000, 28, 28, 1))
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape((10000, 28, 28, 1))
test_images = test_images.astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
model.compile(optimizer='rmsprop',
 loss='categorical_crossentropy',
 metrics=['accuracy'])
model.fit(train_images, train_labels, epochs=5, batch_size=64)

我们在测试数据上对模型进行评估。

test_loss, test_acc = model.evaluate(test_images, test_labels)
test_acc
0.99080000000000001

卷积运算

密集连接层和卷积层的根本区别在于，Dense 层从输入特征空间中学到的是全局模式，而卷积层学到的是局部模式。
在这里插入图片描述
卷积神经网络学到的模式具有平移不变性（translation invariant）。
卷积神经网络可以学到模式的空间层次结构（spatial hierarchies of patterns）
第一个卷积层将学习较小的局部模式（比如边缘），第二个卷积层将学习由第一层特征组成的更大的模式，以此类推。这使得卷积神经网络可以有效地学习越来越复杂、越来越抽象的视觉概念
卷积由以下两个关键参数所定义。

从输入中提取的图块尺寸：这些图块的大小通常是 3×3 或 5×5。本例中为 3×3，这是很常见的选择。
输出特征图的深度：卷积所计算的过滤器的数量。本例第一层的深度为 32，最后一层的深度是 64。

卷积的工作原理

在 3D 输入特征图上滑动（slide）这些 3×3 或 5×5 的窗口，在每个可能的位置停止并提取周围特征的 3D 图块［形状为 (window_height, window_width, input_depth)］。
然后每个 3D 图块与学到的同一个权重矩阵［叫作卷积核（convolution kernel）］做张量积，转换成形状为 (output_depth,) 的 1D 向量。然后对所有这些向量进行空间重组，使其转换为形状为 (height, width, output_depth) 的 3D 输出特征图。
输出特征图中的每个空间位置都对应于输入特征图中的相同位置（比如输出的右下角包含了输入右下角的信息）。
举个例子，利用 3×3 的窗口，向量 output[i, j, :] 来自 3D 图块 input[i-1:i+1, j-1:j+1, :]。

在这里插入图片描述
输出的宽度和高度可能与输入的宽度和高度不同。不同的原因可能有两点。

边界效应，可以通过对输入特征图进行填充来抵消。
使用了步幅（stride），稍后会给出其定义。

在这里插入图片描述

最大池化运算

每个 MaxPooling2D 层之后，特征图的尺寸都会减半。例如，在第一个 MaxPooling2D 层之前，特征图的尺寸是 26×26，但最大池化运算将其减半为 13×13。这就是最大池化的作用：对特征图进行下采样，与步进卷积类似。
最大池化通常使用 2×2 的窗口和步幅 2，其目的是将特征图下采样 2 倍。
为什么要用这种方式对特征图下采样？为什么不删除最大池化层，一直保留较大的特征图？

model_no_max_pool = models.Sequential()
model_no_max_pool.add(layers.Conv2D(32, (3, 3), activation='relu',
 input_shape=(28, 28, 1)))
model_no_max_pool.add(layers.Conv2D(64, (3, 3), activation='relu'))
model_no_max_pool.add(layers.Conv2D(64, (3, 3), activation='relu'))

在这里插入图片描述
这种架构不利于学习特征的空间层级结构。第三层的 3×3 窗口中只包含初始输入的7×7 窗口中所包含的信息。（一个7×7等于3个3×3）
最后一层的特征图对每个样本共有 22×22×64=30 976 个元素。这太多了。如果你将其展平并在上面添加一个大小为 512 的 Dense 层，那一层将会有 1580 万个参数。这对于这样一个小模型来说太多了，会导致严重的过拟合。