1.AlexNet
博客直通车
详解深度学习之经典网络架构(二):AlexNet
AlexNet是双cpu的流程。有5个卷积层,三个池化和三个全连接层。 11×11->3*3,5×5->3×3,3×3,3×3,3×3->3×3
显示 的卷积季后的特征图,池化的特征图没有画出来。
2.vgg
论文中的结构简介
由上图所知,VGG一共有五段卷积,每段卷积之后紧接着最大池化层,作者一共实验了6种网络结构。分别是VGG-11,VGG-13,VGG-16,VGG-19,网络的输入是224*224大小的图像,输出是图像分类结果(本文只针对网络在图像分类任务上,图像定位任务上暂不做分析)。
vgg-16结构
下面算一下每一层的像素值计算:
输入:224×224×3
- conv3 - 64(卷积核的数量):kernel size:3 stride:1 pad:1
像素:(224-3+21)/1+1=224 22422464
参数: (33*3)*64 =1728 - conv3 - 64:kernel size:3 stride:1 pad:1
像素: (224-3+12)/1+1=224 22422464
参数: (33*64)*64 =36864 - pool2 kernel size:2 stride:2 pad:0
像素: (224-2)/2+1 = 112 11211264
参数: 0
4.conv3-128:kernel size:3 stride:1 pad:1
像素: (112-3+21)/1+1 = 112 112112128
参数: (3364)128 =73728
5.conv3-128:kernel size:3 stride:1 pad:1
像素: (112-3+21)/1+1 = 112 112112128
参数: (33128)128 =147456
6.pool2: kernel size:2 stride:2 pad:0
像素: (112-2)/2+1=56 5656128
参数:0
7.conv3-256: kernel size:3 stride:1 pad:1
像素: (56-3+21)/1+1=56 5656256
参数:(33128)256=294912
8.conv3-256: kernel size:3 stride:1 pad:1
像素: (56-3+21)/1+1=56 5656256
参数:(33256)256=589824
9.conv3-256: kernel size:3 stride:1 pad:1
像素: (56-3+21)/1+1=56 5656256
参数:(33256)256=589824
10.pool2: kernel size:2 stride:2 pad:0
像素:(56 - 2)/2+1=28 2828256
参数:0 - conv3-512:kernel size:3 stride:1 pad:1
像素:(28-3+21)/1+1=28 2828512
参数:(33*256)*512 = 1179648 - conv3-512:kernel size:3 stride:1 pad:1
像素:(28-3+21)/1+1=28 2828512
参数:(33*512)*512 = 2359296 - conv3-512:kernel size:3 stride:1 pad:1
像素:(28-3+21)/1+1=28 2828512
参数:(33512)512 = 2359296
14.pool2: kernel size:2 stride:2 pad:0
像素:(28-2)/2+1=14 1414512
参数: 0 - conv3-512:kernel size:3 stride:1 pad:1
像素:(14-3+21)/1+1=14 1414512
参数:(33*512)*512 = 2359296 - conv3-512:kernel size:3 stride:1 pad:1
像素:(14-3+21)/1+1=14 1414512
参数:(33*512)*512 = 2359296 - conv3-512:kernel size:3 stride:1 pad:1
像素:(14-3+21)/1+1=14 1414512
参数:(33512)512 = 2359296
18.pool2:kernel size:2 stride:2 pad:0
像素:(14-2)/2+1=7 77512
参数:0
19.FC: 4096 neurons
像素:114096
参数:775124096 = 102760448
20.FC: 4096 neurons
像素:114096
参数:40964096 = 16777216
21.FC:1000 neurons
像素:111000
参数:4096*1000=4096000
总共参数数量大约138M左右。
3.inception
博客直通车:
4.ResNet 惨差网络
深度卷积神经网络CNN中shortcut的使用
大话深度残差网络(DRN)ResNet网络原理
5.FPN网络
多尺度的object detection算法:FPN(feature pyramid networks)
6.感受野