卷积网络 经典模型（一）之 AlexNet和VGG

最新推荐文章于 2024-08-18 11:12:27 发布
最新推荐文章于 2024-08-18 11:12:27 发布
阅读量500 收藏
点赞数 1
分类专栏： PyTorch 深度学习 文章标签： 卷积 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39809262/article/details/117451533
版权

经典模型

文章目录

1.LeNet-5

1998， Yann LeCun 的 LeNet5
卷积神经网路的开山之作，麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件 - 用卷积提取空间特征； - 由空间平均得到子样本； - 用 tanh 或 sigmoid 得到非线性； - 用 multi-layer neural network（MLP）作为最终分类器； - 层层之间用稀疏的连接矩阵，以避免大的计算成本。
结构如下图：

输入：32 * 32，输出：10个类别。分别为0-9数字的概率

  1. C1层是一个卷积层，有6个卷积核（提取6种局部特征），核大小为5 * 5
  2. S2层是pooling层，下采样（区域:2 * 2 ）降低网络训练参数及模型的过拟合程度。
  3. C3层是第二个卷积层，使用16个卷积核，核大小:5 * 5 提取特征
  4. S4层也是一个pooling层，区域:2*2
  5. C5层是最后一个卷积层，卷积核大小:5 * 5 卷积核种类:120
  6. 最后使用全连接层，将C5的120个特征进行分类，最后输出0-9的概率

代码来自官方教程

import torch.nn as nn
class LeNet5(nn.Module):

    def __init__(self):
        super(LeNet5, self).__init__()
        # 1-input image channel, 6-output channels, 5x5-square convolution kernel
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        # an affine operation: y = Wx + b
        self.fc1 = nn.Linear(16 * 5 * 5, 120) # 这里论文上写的是conv,官方教程用了线性层
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # Max pooling over a (2, 2) window
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        # If the size is a square you can only specify a single number
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features
    #num_features是指除了批次维度外的所有维度，然后把他拉直，


net = LeNet5()
print(net)

LeNet5(
  (conv1): Conv2d(1, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120, bias=True)
  (fc2): Linear(in_features=120, out_features=84, bias=True)
  (fc3): Linear(in_features=84, out_features=10, bias=True)
)

num_features是指除了批次维度外的所有维度，然后把他拉直，并且，pytorch训练网络是一批一批的，在没有划分批次时，把，每一个样本当作一批，（1，w,h,d）

2. AlexNet

2012，Alex Krizhevsky 可以算作LeNet的一个更深和更广的版本，可以用来学习更复杂的对象 论文 - 用rectified linear units（ReLU）得到非线性； - 使用 dropout 技巧在训练期间有选择性地忽略单个神经元，来减缓模型的过拟合； - 重叠最大池，避免平均池的平均效果； - 使用 GPU NVIDIA GTX 580 可以减少训练时间，这比用CPU处理快了 10 倍，所以可以被用于更大的数据集和图像上。

  1. conv - relu - pool - LRN ： group=2，这个属性强行把前面结果的feature map分开，卷积部分分成两部分做
  2. conv - relu
  3. conv - relu
  4. conv - relu - pool
  5. fc - relu - dropout ： dropout层，在alexnet中是说在训练的以1/2概率使得隐藏层的某些neuron的输出为0，这样就丢到了一半节点的输出，BP的时候也不更新这些节点，防止过拟合。
  6. fc - relu - dropout
  7. fc - softmax

在Pytorch的vision包中是包含Alexnet的官方实现的，我们直接使用官方版本看下网络

import torchvision
model = torchvision.models.alexnet(pretrained=False) #我们不下载预训练权重
print(model)

AlexNet(
  (features): Sequential(
    (0): Conv2d(3, 64, kernel_size=(11, 11), stride=(4, 4), padding=(2, 2))
    (1): ReLU(inplace=True)
    (2): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
    (3): Conv2d(64, 192, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (4): ReLU(inplace=True)
    (5): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
    (6): Conv2d(192, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (7): ReLU(inplace=True)
    (8): Conv2d(384, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (9): ReLU(inplace=True)
    (10): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU(inplace=True)
    (12): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(6, 6))
  (classifier): Sequential(
    (0): Dropout(p=0.5, inplace=False)
    (1): Linear(in_features=9216, out_features=4096, bias=True)
    (2): ReLU(inplace=True)
    (3): Dropout(p=0.5, inplace=False)
    (4): Linear(in_features=4096, out_features=4096, bias=True)
    (5): ReLU(inplace=True)
    (6): Linear(in_features=4096, out_features=1000, bias=True)
  )
)

3.VGG

2015年，牛津的VGG.

  • 每个卷积层中使用更小的 3×3 filters，并将它们组合成卷积序列
  • 多个3×3卷积序列可以模拟更大的接收场的效果
  • 每次的图像像素缩小一倍，卷积核的数量增加一倍

3 * 3 减少了参数量

通过卷积和池化层后，图像的分辨率降低为原来的一半，但是图像的特征增加一倍，这是一个十分规整的操作: 分辨率由输入的224->112->56->28->14->7， 特征从原始的RGB通道3-> 64 ->128 -> 256 -> 512

这为后面的网络提供了一个标准，我们依旧使用Pytorch官方实现版本来查看

import torchvision
model = torchvision.models.vgg16(pretrained=False) #我们不下载预训练权重
print(model)

VGG(
  (features): Sequential(
    (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (1): ReLU(inplace=True)
    (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (3): ReLU(inplace=True)
    (4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (6): ReLU(inplace=True)
    (7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (8): ReLU(inplace=True)
    (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU(inplace=True)
    (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (13): ReLU(inplace=True)
    (14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (15): ReLU(inplace=True)
    (16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (18): ReLU(inplace=True)
    (19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (20): ReLU(inplace=True)
    (21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (22): ReLU(inplace=True)
    (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (25): ReLU(inplace=True)
    (26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (27): ReLU(inplace=True)
    (28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (29): ReLU(inplace=True)
    (30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
  (classifier): Sequential(
    (0): Linear(in_features=25088, out_features=4096, bias=True)
    (1): ReLU(inplace=True)
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True)
    (4): ReLU(inplace=True)
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=1000, bias=True)
  )
)
AutoFerry
关注
专栏目录
Alexnet网络与Vgg网络
weixin_44428467的博客
09-18 1275
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
【LeNet、AlexNet、VGG】
chenjunheaixuexi的博客
06-21 850
  LeNet是最早用于图像处理的神经网络，主要是为了解决手写数字识别的问题，著名的数据集Minist就是伴随着LeNet的诞生而出现的。下面是其基本架构： 代码实现
跟着问题学5——AlexNet网络详解及代码实战
最新发布
weixin_42251091的博客
08-18 3084
每一层的权重初始化为均值1标准差0.01的正态分布，在第2,4,5卷积层和全连接层中的bias初始化为常数1，其余层则为0.所有层采用了相同的初始化为0.01的学习率，不过可以手动调整。测试时使用所有的神经元，但将它们的输出乘以0.5。简单举例来说，池化核大小3 × 3， 扩充边缘padding = 0，步长stride = 2，因此其FeatureMap输出大小为(13-3+0×2+2)/2=6, 即C5输出为6×6×256（此处未将输出分到两个GPU中，若按照论文将分成两组，每组为6×6×128）；
AlexNet和VGG的总结
hoston2008的博客
10-29 5075
Alexnet 和 VGG 解读 Alexnet 结构 Alexnet 的网络结构，共含五层卷基层和三层全连接层。Alex-Net的上下两支是为方便同时使用两个GPU并行训练，不过在第三层卷积和全连接层处上下两支信息可交互。由于两支网络完全一致，在此仅对其中一只进行分析。AlexNet将CNN用到了更深更宽的网络中,其效果分类的精度更高相比于以前的LeNet,其中有一些trick是必须要知道的....
26- AlexNet和VGG模型分析 (TensorFlow系列) (深度学习)
March_A的博客
03-03 790
VGG在2014年由牛津大学著名研究组VGGGroup提出，斩获该年ImageNet竞 中LocalizationTask定位 任务第一名和ClassificationTask分类任务第二名。网络中的亮点通过堆叠多个3x3的卷积核来替代大尺度卷积核（减少所需参数）论文中提到，可以通过堆叠两个3x3的卷积核替代5x5的卷积核堆叠三个3x3的卷积核替代7x7的卷积核。
CV中的经典网络模型——AlexNet和VGG
zcg1942的博客
08-25 2031
目标检测 目标检测，不仅要识别目标是什么（分类），还要知道目标的具体位置（可以当作回归来做）。 RCNN Selective Search 算法获得候选框，Alexnet提取特征，SVM对每个候选框区域打分。对于重叠的区域，通过计算IoU和非极大值抑制，剔除重叠的区域。imagenet到VOC的迁移学习，VOC只有21个类，其中一类是背景。 YOLO you only look once，属于one stage检测，因为不需要提前使用其他的算法获得候选区域。虽然不是显式地找候选框，隐式的也是少不.
经典卷积神经网络模型-合集(AlexNet，VGG16Net，GoogLeNet，ResNet18).zip
01-29
这是一个合集——经典卷积神经网络模型，包含AlexNet，VGG16Net，GoogLeNet，ResNet18等四个主要的经典卷积神经网络的code，也包含注释。所有模型均已调试通过，且已经记录博客。跑的时候，建议使用GPU来跑，否则...
经典卷积神经网络模型—AlexNet，VGG，GoogLeNet
01-20
AlexNet 特征 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 将sigmoid激活函数改成了更加简单的ReLU激活函数。 用Dropout来控制全连接层的模型复杂度。 引入数据增强，如翻转、裁剪和颜色变化，...
图像分类之经典卷积神经网络AlexNET、VGG、GoogLeNet、ResNet和DenseNet
qq_39987519的博客
06-28 3818
1、CNN的架构模型   CNN是一种前馈网络，即信息流从输入到输出都是单向的。正如人工神经网络(ANN)是受生物学启发的，CNN也是。大脑的视觉皮层由简单细胞和复杂细胞交替组成(Hubel & Wiesel, 1959, 1962)，这激发了他们对CNN架构的设计。CNN的架构有多种变体，通常，它们由卷积层和池化层(subsampling)组成，这些层被分组成模块。在前馈网络中，最后会连接一层或多层全连接层。这些模块通常堆叠在一起，形成一个深层模型。   图像直接输入到CNN网络中，接下来是几个
卷积神经网络进阶（AlexNet、VGG、NiN、GoogleNet）
01-06
深度卷积神经网络AlexNet 重要的计算例题：通道数为3，宽高均为224的输入，经过一层输出通道数为96，卷积核大小为11，步长为4，无padding的卷积层后，得到的feature map的宽高为： (原始宽高 – kernel_size)/步长下...
经典深度神经网络AlexNet、VGGNet
Tangguoseo的博客
06-15 1463
逐层分析经典深度神经网络Alex、VGG的结构
AlexNet_alexnet_Alexnet网络模型_
09-30
alexnet模型搭建，供初学者参考，本人小白，望有错指正
CNN模型简单介绍(LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN)
01-16
CNN模型简单介绍,按照提出时间依次介绍LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN。十几页的ppt，主要介绍各个模型的核心思想、贡献，希望能为大家提供一条清晰的CNN发展脉络。具体的算法实现等需要阅读文章代码。相关文章会作为另一个资源提供免费打包下载。
pytorch复现网络AlexNet和VGG
夏日山间过
08-29 760
下图是AlexNet的网络结构 由上图可见，AlexNet有５个卷积层，然后紧跟着３个全连接层。简图如下图 采用的激活函数是ReLU,激活函数表达式是f(x)=max(0,x) 如上图所示，AlexNet在每个全连接层后都加上了dropout层。减少过拟合。dropout层以一定的概率随机关闭当前层中神经元激活值。 dropout层，不同的神经元组合被关闭，代表着不同的结构，所有这些不同的...
AlexNet与VGG
weixin_41940752的博客
10-30 738
AlexNet AlexNet是神经网络之父Hinton的学生Alex Krizhevsky开发完成，总共有8层，其中有5个卷积层，3个全链层，前5层其实不完全是卷积层，有些层还加入了池化层，并对数据进行标准化处理。Alex在他的论文中写到，他在处理图片的时候使用了两个GPU进行计算，在卷积过程中他做了分组的处理。 第一层 第一层包含了卷积层、标准化层和池化层。在Tensorflow中，搭建...
LeNet、AlexNet、VGG卷积神经网络
TranSad的博客
02-24 2403
对卷积和池化过程有了基本认识之后，这篇文章梳理LeNet、AlexNet以及VGG这三个经典的卷积神经网络，并通过代码实现其网络结构来加深理解。 LeNet LeNet是最早发布的卷积神经网络之一了，LeNet是最早用来处理手写字体识别任务的网络，是非常简单而又经典。一般来说手写字体识别传入的图像是28*28的，但这里一开始先进行了padding=2的填充再卷积，所以下面图中input是32*32，这一点不同理解即可。对于每一步卷积以及池化（图中Subsampling降采样）我都做了标记，其具体...
【深度学习】AlexNet、VGG、GooLeNet、ResNet整理笔记
冷芝士鸭的学习笔记
04-20 7315
https://wenku.baidu.com/view/3ce7dbff7c192279168884868762caaedc33ba72.html
经典卷积神经网络详解（AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、CSPNet、Darknet、EfficientNet、SqueezeNet..）
热门推荐
zyw2002的博客
03-04 1万+
经典卷积神经网络详解（AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、CSPNet、Darknet、EfficientNet、SqueezeNet,MobileNet,GhostNet等）
算法知识点-AlexNet、VGG、ResNet简述
water的博客
02-28 544
通过引入残差结构，使得原始的输出y变成y-x，构成残差结构residual mapping。这样当模型达到最佳时，residual mapping 会被Push为0，这样相当于模型学习的的是恒等映射，所以模型性能不会随着训练而下降。使用连续几个3*3的卷积核代替大卷积核；通过堆积小卷积核优于直接使用大卷积核，原因在于堆积小卷积核增加了模型的非线性表达能力，使得模型拟合能力增强。堆积小卷积核组合优于一个大卷积核；resnet中引入了BN，相当于自带噪声，具有正则化效果，无需引入droupout。
深度学习经典模型合集：AlexNet、VGG16Net、GoogLeNet、ResNet18
资源摘要信息:"经典卷积神经网络模型-合集(AlexNet，VGG16Net，GoogLeNet，ResNet18).zip" 知识点详解： 1. 卷积神经网络（CNN）基础 卷积神经网络是一种深度学习的架构，它能够通过层层卷积和池化操作对图像等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值