AlexNet网络
加入了丢弃法
从激活函数sigmoid改为了ReLu
LeNet主要用的是平均池化,而AlexNet取的是MaxPooling
丢弃法是为了进行模型的控制(因为模型更大了,所以用丢弃法做一些正则)
ReLu是比sigmoid梯度更大
MaxPooling取最大值,使得输出值比较大,梯度相对来说比较大,使得训练更加容易一点。
AlexNet架构
通道数从6变成了96
Pad=2是为了让输入和输出的尺寸是一样的。
更多细节
激活函数从sigmoid变到了ReLu(减缓梯度消失)
隐藏全连接层后加入了丢弃层
数据增强
总结
①AlexNet是更大更深的LeNet,比LeNet多10倍的参数个数,多260倍的计算复杂度。
②新加入了丢弃法,ReLU,最大池化层和数据增强。
深度卷积神经网络(AlexNet)代码
import torch
from torch import nn
from d2l import torch as d2l
net = nn.Sequential(
# 输出通道的数目远大于LeNet
# 输入通道为1,输出通道为96,卷积核大小为11×11,步长为4,填充为1
# 使用了一个相对较大的卷积核来捕捉图像中的大尺度特征,并通过较大的步长来减少输出的空间维度(高度和宽度)。
# 填充用于保持输出的空间维度不会因卷积操作而急剧减小。
nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
# 通过最大池化来进一步减少输出的空间维度
nn.MaxPool2d(kernel_size=3, stride=2),
# 减小卷积窗口,使用填充为2来使得输入与输出的高和宽一致,且增大输出通道,256为输出通道数
nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
nn.MaxPool2d(kernel_size=3, stride=2),
# 使用三个连续的卷积层和较小的卷积窗口。
# 除了最后的卷积层,输出通道的数量进一步增加。
# 在前两个卷积层之后,池化层不用于减少输入的高度和宽度
nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Flatten(),
# 这里,全连接层的输出数量是LeNet中的好几倍。使用dropout层来减轻过拟合
nn.Linear(6400, 4096), nn.ReLU(),
nn.Dropout(p=0.5),
nn.Linear(4096, 4096), nn.ReLU(),
nn.Dropout(p=0.5),
# 最后是输出层。由于这里使用Fashion-MNIST,所以用类别数为10,而非论文中的1000
nn.Linear(4096, 10))
为什么变成6400了
这里的高度和宽度变为了5,由步长一步一步变小的。这里使用Flatten展为1维,则256×5×5=6400
我们构造一个高度和宽度都为224的(单通道数据,来观察每一层输出的形状)。
X = torch.randn(1, 1, 224, 224)
for layer in net:
X=layer(X)
print(layer.__class__.__name__,'output shape:\t',X.shape)
结果:
AlexNet直接应用于Fashion-MNIST的一个问题是,Fashion-MNIST图像的分辨率( 28×28 像素)(低于ImageNet图像。) 为了解决这个问题,(我们将它们增加到 224×224 )(通常来讲这不是一个明智的做法,但在这里这样做是为了有效使用AlexNet架构)。这里需要使用d2l.load_data_fashion_mnist函数中的resize参数执行此调整。
batch_size = 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
训练AlexNet
import time
lr, num_epochs = 0.01, 10
time1 = time.time()
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
time2 = time.time()
这里使用GPU跑,CPU可能跑不动,之前跑过一个跑了很久没跑出来。
结果:
问题
①为什么AlexNet最后要有两个相同的全连接层Dense(4096)?一个行吗?
一个不行,一个效果会差,4096×4096的全连接层是一个非常厉害的模型。因为前面的卷积的特征抽的不够好、不够深,所以后面靠两个Dense来补,有一个效果会变差。
②在一个识别细胞的程序里做了颜色+几何变换的增强后效果反倒比只做几何变化的增强效果差。这个可能是因为什么?
很正常的事情,这是一个超参数,调参是一个很辛苦的过程。