VGGNET:探索卷积神经网络的深度
比较典型的是下面的D-VGG16和E-VGG19模型
Architecture
-
input的图像统一大小都是224*224
-
对于输入数据只做了一个预处理:每个像素点减去了一个RGB的平均值,这个平均值是在训练集中所有的图片总体求出来的一个平均值。
-
统一使用一个小的filter 3*3,有一些部分也使用了1 * 1的,这样直接转换成了一个全连接层了。
-
使用padding,使得输出图像与输入图像的空间上的大小保持一致
-
使用2$\times$2 MAX-pooling,步长设置为2,这就意味着每经过一个池化层,图片就被缩小了一半。
-
卷积层过后接入三个全连接层 :第一,二层为4096,第三层为1000,这样正好和image net数据集类别数量相同。最后使用softmax进行概率输出。
-
统一使用RELU 激活函数
-
在VGG之前的卷积网络的第一层filter的大小会被设置的很大,例如在AlexNet中使用了11$\times$11,步长为4的filter。而VGG使用的还是3*3,步长为1.
note:通过两个3*3的卷积操作,实际上等价于一个5 * 5卷积操作,3个3 * 3就等价于一个7 * 7
这样的积少成多网络有什么好处?
以3个3*3的卷积网络替代一个7 * 7的卷积为例。
-
合并使用了三个RELU,而使用7 * 7 只有一个RELU,只有一个会使得决策函数有更多的偏见可能。
-
减少了参数的数量:如果假设在经过卷积之后数据的通道数不变,一直是C。
3个 3 × 3 3\times3 3×3的卷积核: 3 × C × ( 3 × 3 × C ) = 27 C 2 3\times C \times(3\times3\times C)=27C^2 3×C×(3×3×C)=27C2
1个 7 × 7 7\times 7 7×7卷积核: C × ( 7 × 7 × C ) = 49 C 2 C\times(7\times7\times C)=49C^2 C×(7×7×C)=49C2
Training
-
batch_size 设置成256
-
采用带有动量的随机梯度下降法,momentum 设置为0.9
-
regularization by weight decay 5*10-4
-
在最后三层全连接层的前两层运用了dropout方法,概率设置为0.5.
-
学习率初始化为10-2,当验证集的准确率不再提高时候,将它再缩小十倍。
-
为了加快训练速度,会预先训练好一些小模型,使用小模型中的参数去训练大模型。
首先,经过预先训练的小模型,发现使用LRN 对实验的结果并没有提升,所以决定不适用local response normalization。11 layers的A模型 到E 的19 layers模型,准确率有所提升,C中加入的1 * 1 的卷积核对结果会有负的影响,所以不考虑。
当深度到达19层时,模型的错误率就已经趋向饱和了。
pytorch 实现模型A
def vgg_block(conv_nums,in_channel,out_channel):
box=[]
for i in range(conv_nums):
if i==0:
box.append(nn.Conv2d(in_channel,out_channel,kernel_size=3,padding=1))
else:
box.append(nn.Conv2d(out_channel,out_channel,kernel_size=3,padding=1))
box.append(nn.ReLU())
box.append(nn.MaxPool2d(2,2))
return nn.Sequential(*box)
def vgg(conv_arch,fc_features,fc_hidden_units=4096):
net=nn.Sequential()
for i ,(conv_nums,in_channel,out_channel) in enumerate(conv_arch):
net.add_module("vgg_block"+str(i+1),vgg_block(conv_nums,in_channel,out_channel))
net.add_module("fc",nn.Sequential(
nn.Flatten(),
nn.Linear(fc_features,fc_hidden_units),
nn.ReLU(),
nn.Dropout(0.5),
nn.Linear(fc_hidden_units,fc_hidden_units),
nn.ReLU(),
nn.Dropout(0.5),
nn.Linear(fc_hidden_units,10)
))
return net
conv_arch = ((1, 1, 64), (1, 64, 128), (2, 128, 256), (2, 256, 512), (2, 512, 512))
# 经过5个vgg_block, 宽高会减半5次, 变成 224/32 = 7
fc_features = 512 * 7 * 7 # c * w * h
fc_hidden_units = 4096 # 任意
net=vgg(conv_arch,fc_features,fc_hidden_units)