论文阅读 VGGNet VERY DEEP CONVOLUTIONALNETWORKSFORLARGE-SCALEIMAGERECOGNITION

本文概述了从LeNet到VGGNet、GoogleNet和ResNet等经典卷积神经网络的论文阅读,强调了网络结构优化如使用小尺寸卷积核、堆叠增加深度、数据增强方法以及VGGNet的简洁结构。还讨论了卷积层与全连接层的区别、权值共享对计算效率的影响以及如何通过卷积层替代全连接层进行模型优化。
摘要由CSDN通过智能技术生成

 主干网络论文阅读(按论文时间顺序):

论文阅读 LeNET CONVOLUTIONAL NEURAL NETWORKS FOR ISOLATED CHARACTER RECOGNITION-CSDN博客

论文阅读 AlexNet ImageNet Classification with Deep ConvolutionalNeural Networks-CSDN博客

论文阅读 VGGNet VERY DEEP CONVOLUTIONALNETWORKSFORLARGE-SCALEIMAGERECOGNITION-CSDN博客

论文阅读 GoogleNet(Inception) Going deeper with convolutions-CSDN博客

论文阅读 ResNet Deep Residual Learning for Image Recognition-CSDN博客

论文阅读 ResNext Aggregated Residual Transformations for Deep Neural Networks-CSDN博客


原理:

相比于lenet,用多个小尺寸卷积核代替大尺寸卷积核。比如VGG使用 2个3X3的卷积核来代替5X5的卷积核,3个3X3的卷积核代替7X7的卷积核(三层3X3感受野和7X7相同,但参数少)。    好处是:1、参数少2、在保证相同感受野的情况下,多个小卷积层堆积可以提升网络深度,增加特征提取能力(非线性层增加)3、层数增加,非线性激活函数也增加、使得决策函数更具有判别性

数据增强使用了Multi-Scale策略,主要是将图像放大到随机的大小,然后再裁剪到224X224大小的图像。

网络结构: 卷积层参数表示为conv<感受野尺寸>-<通道数量>   感受野尺寸就是指卷积核大小

D列是VGG16,E是VGG19

所有卷积padding=1

在 FC 层中间采用 dropout 层,防止过拟合并加快训练

在测试时将全连接层等效替换为卷积层进行测试

VGG16:

VGG优点:

VGGNet的结构非常简洁,整个网络都使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)。

几个小滤波器(3x3)卷积层的组合比一个大滤波器(5x5或7x7)卷积层好:验证了通过不断加深网络结构可以提升性能

将全连接层等效替换为卷积层

卷积和全连接的区别大致在于:卷积是局部连接,计算局部信息;全连接是全局连接,计算全局信息。

权值共享就是说给定一张输入图片,用一个卷积核来卷积这张图,卷积核里的值叫做权重,这张图的每个位置是被同一个卷积核扫的,即卷积的时候所用的权重是一样的。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积核,这个卷积核内9个的参数被整张图共享。说的再直白一些,就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片

卷积层和全连接层的计算实际上相同,因此可以将全连接层转换为卷积层: 如果卷积核的kernel_size和输入feature mapssize一样,那么相当于该卷积核计算了全部feature maps的信息,则相当于是一个kernel_size1的全连接

卷积层代替全连接层的方式,其卷积核的计算是并行的,不需要同时读入内存中,所以使用卷积层的方式代替全连接层可以加开模型的优化。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值