主干网络论文阅读(按论文时间顺序):
论文阅读 LeNET CONVOLUTIONAL NEURAL NETWORKS FOR ISOLATED CHARACTER RECOGNITION-CSDN博客
论文阅读 AlexNet ImageNet Classification with Deep ConvolutionalNeural Networks-CSDN博客
论文阅读 VGGNet VERY DEEP CONVOLUTIONALNETWORKSFORLARGE-SCALEIMAGERECOGNITION-CSDN博客
论文阅读 GoogleNet(Inception) Going deeper with convolutions-CSDN博客
论文阅读 ResNet Deep Residual Learning for Image Recognition-CSDN博客
论文阅读 ResNext Aggregated Residual Transformations for Deep Neural Networks-CSDN博客
原理:
相比于lenet,用多个小尺寸卷积核代替大尺寸卷积核。比如VGG使用 2个3X3的卷积核来代替5X5的卷积核,3个3X3的卷积核代替7X7的卷积核(三层3X3感受野和7X7相同,但参数少)。 好处是:1、参数少2、在保证相同感受野的情况下,多个小卷积层堆积可以提升网络深度,增加特征提取能力(非线性层增加)3、层数增加,非线性激活函数也增加、使得决策函数更具有判别性
数据增强使用了Multi-Scale策略,主要是将图像放大到随机的大小,然后再裁剪到224X224大小的图像。
网络结构: 卷积层参数表示为conv<感受野尺寸>-<通道数量> 感受野尺寸就是指卷积核大小
D列是VGG16,E是VGG19
所有卷积padding=1
在 FC 层中间采用 dropout 层,防止过拟合并加快训练
在测试时将全连接层等效替换为卷积层进行测试
VGG16:
VGG优点:
VGGNet的结构非常简洁,整个网络都使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)。
几个小滤波器(3x3)卷积层的组合比一个大滤波器(5x5或7x7)卷积层好:验证了通过不断加深网络结构可以提升性能
卷积和全连接的区别大致在于:卷积是局部连接,计算局部信息;全连接是全局连接,计算全局信息。
权值共享就是说给定一张输入图片,用一个卷积核来卷积这张图,卷积核里的值叫做权重,这张图的每个位置是被同一个卷积核扫的,即卷积的时候所用的权重是一样的。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积核,这个卷积核内9个的参数被整张图共享。说的再直白一些,就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片
卷积层和全连接层的计算实际上相同,因此可以将全连接层转换为卷积层: 如果卷积核的kernel_size和输入feature maps的size一样,那么相当于该卷积核计算了全部feature maps的信息,则相当于是一个kernel_size∗1的全连接
卷积层代替全连接层的方式,其卷积核的计算是并行的,不需要同时读入内存中,所以使用卷积层的方式代替全连接层可以加开模型的优化。