Part 1 专知课程学习《卷积神经网络》
绪论
传统神经网络vs卷积神经网络
深度学习三部曲
- 搭建神经网络结构
- 找到一个合适的损失函数 (交叉熵损失……)
- 找到一个合适的优化函数 (更新参数 反向传播,随机梯度下降……)
传统神经网络可以应用到计算机视觉上,但全连接网络处理图像由于权重矩阵的参数太多会导致过拟合,对此卷积神经网络可以通过局部关联,参数共享的方式共享来解决。
基本组成结构
卷积(Convoluntional Layer)
卷积是对两个实变函数的一种数学操作。
在图像处理中,图像以二维矩阵的形式输入到神经网络中,因此需要二维卷积。
二维卷积
卷积输出的特征图大小为:(N-F)/stride + 1
有padding时输出的特征图大小为:(N+padding*2 -F)/stride + 1
其中N为输入矩阵的大小,F为卷积核/滤波器矩阵的大小,stride为步长。
池化(Pooling Layer)
两种池化类型(更倾向于最大值池化)
全连接(Fully Connected Layer)
卷积神经网络典型结构
AlexNet
AlexNet成功的原因:
- 大数据训练:百万级ImageNet图像数据
- 非线性激活函数:ReLU
- 防止过拟合:Dropout,Data augmentation
- 其他:双GPU实现
ReLU函数相对于Sigmoid函数的优点:解决了梯度消失的问题(在正区间);计算速度特别快,只需要判断输入是否大于0;收敛速度远快于sigmoid。
DropOut防止过拟合
数据增强防止过拟合
VGG
GoogleNet
整体网络结构
Naive Inception
初衷:多卷积核增加特征多样性
原始Inception模块计算复杂度过高,对此Inception V2的解决思路是插入1*1卷积核进行降维。
![](https://i-blog.csdnimg.cn/blog_migrate/9ec94e92cd70844c7080c4fddcc12e4f.png)
5*5的卷积核相应参数个数为5*5+5=30,而两个3*3的卷积核相应参数个数为(3*3+3)*2=24。
ResNet
网络结构
残差结构(解决梯度消失)
Part 2 代码练习
MNIST 数据集分类
PyTorch里包含了 MNIST, CIFAR10 等常用数据集,调用 torchvision.datasets 即可把这些数据由远程下载到本地,下面给出MNIST的使用方法:
torchvision.datasets.MNIST(root, train=True, transform=None, target_transform=None, download=False)
- root 为数据集下载到本地后的根目录,包括 training.pt 和 test.pt 文件
- train,如果设置为True,从training.pt创建数据集,否则从test.pt创建。
- download,如果设置为True, 从互联网下载数据并放到root文件夹下
- transform, 一种函数或变换,输入PIL图片,返回变换之后的数据。
- target_transform 一种函数或变换,输入目标,进行变换。
另外值得注意的是,DataLoader是一个比较重要的类,提供的常用操作有:batch_size(每个batch的大小), shuffle(是否进行随机打乱顺序的操作), num_workers(加载数据的时候使用几个子进程)。
class FC2Layer(nn.Module):
def __init__(self, input_size, n_hidden, output_size):
# nn.Module子类的函数必须在构造函数中执行父类的构造函数
# 下式等价于nn.Module.__init__(self)
super(FC2Layer, self).__init__()
self.input_size = input_size
# 这里直接用 Sequential 就定义了网络,注意要和下面 CNN 的代码区分开
self.network = nn.Sequential(
nn.Linear(input_size, n_hidden),
nn.ReLU(),
nn.Linear(n_hidden, n_hidden),
nn.ReLU(),
nn.Linear(n_hidden, output_size),
nn.LogSoftmax(dim=1)
)
def forward(self, x):
# view一般出现在model类的forward函数中,用于改变输入或输出的形状
# x.view(-1, self.input_size) 的意思是多维的数据展成二维
# 代码指定二维数据的列数为 input_size=784,行数 -1 表示我们不想算,电脑会自己计算对应的数字
# 在 DataLoader 部分,我们可以看到 batch_size 是64,所以得到 x 的行数是64
# 大家可以加一行代码:print(x.cpu().numpy().shape)
# 训练过程中,就会看到 (64, 784) 的输出,和我们的预期是一致的
# forward 函数的作用是,指定网络的运行过程,这个全连接网络可能看不啥意义,
# 下面的CNN网络可以看出 forward 的作用。
x = x.view(-1, self.input_size)
return self.network(x)
class CNN(nn.Module):
def __init__(self, input_size, n_feature, output_size):
# 执行父类的构造函数,所有的网络都要这么写
super(CNN, self).__init__()
# 下面是网络里典型结构的一些定义,一般就是卷积和全连接
# 池化、ReLU一类的不用在这里定义
self.n_feature = n_feature
self.conv1 = nn.Conv2d(in_channels=1, out_channels=n_feature, kernel_size=5)
self.conv2 = nn.Conv2d(n_feature, n_feature, kernel_size=5)
self.fc1 = nn.Linear(n_feature*4*4, 50)
self.fc2 = nn.Linear(50, 10)
# 下面的 forward 函数,定义了网络的结构,按照一定顺序,把上面构建的一些结构组织起来
# 意思就是,conv1, conv2 等等的,可以多次重用
def forward(self, x, verbose=False):
x = self.conv1(x)
x = F.relu(x)
x = F.max_pool2d(x, kernel_size=2)
x = self.conv2(x)
x = F.relu(x)
x = F.max_pool2d(x, kernel_size=2)
x = x.view(-1, self.n_feature*4*4)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
x = F.log_softmax(x, dim=1)
return x
在小型全连接网络上训练(Fully-connected network)
在卷积神经网络上训练
通过上面的测试结果,可以发现,含有相同参数的 CNN 效果要明显优于 简单的全连接网络,是因为 CNN 能够更好的挖掘图像中的信息,主要通过两个手段:
- 卷积:Locality and stationarity in images
- 池化:Builds in some translation invariance
打乱像素顺序再次在两个网络上训练与测试
在全连接网络上训练与测试
在卷积神经网络上训练与测试
从打乱像素顺序的实验结果来看,全连接网络的性能基本上没有发生变化,但是 卷积神经网络的性能明显下降。
这是因为对于卷积神经网络,会利用像素的局部关系,但是打乱顺序以后,这些像素间的关系将无法得到利用。
CNN 对 CIFAR10 数据集分类
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(3, 6, 5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, 16 * 5 * 5)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
在测试集中取出图片,展示模型识别的结果 。
网络在整个数据集上的准确率
VGG16 对 CIFAR10 分类
class VGG(nn.Module):
def __init__(self):
super(VGG, self).__init__()
self.cfg = [64, 'M', 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M']
self.features = self._make_layers(self.cfg)
self.classifier = nn.Linear(512, 10)
def forward(self, x):
out = self.features(x)
out = out.view(out.size(0), -1)
out = self.classifier(out)
return out
def _make_layers(self, cfg):
layers = []
in_channels = 3
for x in cfg:
if x == 'M':
layers += [nn.MaxPool2d(kernel_size=2, stride=2)]
else:
layers += [nn.Conv2d(in_channels, x, kernel_size=3, padding=1),
nn.BatchNorm2d(x),
nn.ReLU(inplace=True)]
in_channels = x
layers += [nn.AvgPool2d(kernel_size=1, stride=1)]
return nn.Sequential(*layers)
一个简化版的 VGG 网络能够显著地将准确率由 63%,提升到 83.92%
问题思考
1.dataloader 里面的 shuffle取值代表是否进行随机打乱顺序的操作,训练时可以打乱顺序增加多样性。
2.transform是一种函数或变换,输入PIL图片,返回变换之后的数据。实验中使用的transforms.Normalize()是逐channel的对图像进行标准化(均值变为0,标准差变为1),可以加快模型的收敛。
3.Batch大小是在更新模型之前处理的样本数。 Epoch数是训练数据集的完整通过数。
4.1×1的卷积核是输入map大小不固定的;而全连接是固定的。1×1卷积的主要作用是
降维( dimension reductionality )和 加入非线性。输入的feature map的尺寸是1×1时,两者从数学原理上来看,没有区别;当输入为c×w×h时,,1×1的卷积输出为n×w×h,全连接的输出是n×1×1。此时,全连接可以等价于n个c×w×h卷积核的卷积层。
5.残差网络使信息更容易在各层之间流动,包括在前向传播时提供特征重用,在反向传播时缓解梯度信号消失。
6.
LeNet-5
- C1:卷积层,num_kernels=6, kernel_size=5×5, padding=0, stride=1
- S2:均值池化层,kernel_size=2×2, padding=0, stride=2
- C3:卷积层,num_kernels=16, kernel_size=5×5, padding=0, stride=1
- S4:均值池化层,kernel_size=2×2, padding=0, stride=2
- F5:全连接层,out_features=140
- F6:全连接层,out_features=84
- F7:全连接层,out_features=10
代码二网络
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(3, 6, 5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, 16 * 5 * 5)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
LeNet-5采用均值池化,代码二的网络采用最大值池化;LeNet 采用的激活函数是 tanh,代码二网络使用 ReLU激活函数。
7.可以采用填充padding的方法。
8.采用正确的网络结构;对数据集进行有效的预处理。