文章目录
1.为什么进行实例探究?
通过阅读别人的论文和代码来学习。
后面会学习几个经典的网络模型。
2.经典网络
2.1 LeNet-5
输入:图片32×32×1,过滤器5×5,avg pool 2×2-步长2。
网络结构图:
参数大概6W个,激活函数用的sigmoid和tanh。
可借用模式:一个或多个卷积层后面跟着一个池化层,重复若干个这种结构,然后是全连接层,最后是输出。
论文阅读:精度第二段(介绍网络结构)、泛读第三段(实验结果)。
2.2 AlexNet
输入:图片227×227×3;过滤器有:11×11-步长4,5×5-same,3×3-步长1-padding-1;max-pool:3×3-步长2。
参数大概6000万个。激活函数用的ReLU。
训练方法:在两个GUP上进行训练。
LRN(局部响应归一化层):得到256个数字,进行归一化。motivate是13×13的图像每个位置来说,可能并不需要太多的高激活神经单元。
2.3 VGG-16
输入:图片224×224×3,过滤器:3×3-步长1-same padding;池化:2×2-步长2。
这里的16指的是卷积层和全连接层的数量,整个网络大概有1.38亿个参数。
网络结构的设计原则:每一步卷积,通道数翻倍。每一次池化,高度宽度缩小一半。
总结:论文阅读顺序:AlexNet->VGG->LeNet。
3.残差网络
残差块: