CNN-AlexNet

最新推荐文章于 2024-11-03 16:57:52 发布

Eeeeearl

最新推荐文章于 2024-11-03 16:57:52 发布

阅读量316

点赞数

分类专栏：深度学习文章标签： python 深度学习卷积神经网络

本文链接：https://blog.csdn.net/Eeeeearl/article/details/119648388

版权

深度学习专栏收录该内容

9 篇文章 1 订阅

订阅专栏

2012年，多伦多大学的Alex Krizhevsky等人提出了AlexNet网络，正式奠定了卷积神经网络在计算机视觉中的地位。
其AlexNet网络在2012年的ImageNet竞赛中夺冠扬名。

在之前，训练CNN模型有两个要素：数据+硬件，因此举步维艰，知道2009年诞生了ImageNet数据集，包含了1000大类物体，每类有多达数千张不同的图像。2001年GPU概念兴起，虽然GPU一直以来都是为图像处理和计算机游戏设计的。

与LeNet不同

AlexNet包含了8层，其中5层卷积和2层全连接隐藏层，以及1个全连接输出层。

第一层卷积窗口为11x11；
第二层卷积窗口为5x5；
之后全采用窗口为3x3；
第一、第二、第五个卷积层之后都使用了最大池化层（3x3，步长为2）。
通道数也大了数倍。

AlexNet将sigmoid激活函数简化成了ReLUctant激活函数。

公式如下：

f(x) = max(0, x)

为何采用ReLU激活函数
1、运算简单，没有幂函数；
2、ReLU激活函数在不同的参数初始化方法下使模型更容易训练。在sigmoid激活函数中，输出会无限趋近1和0的情况，这些区域它们的梯度几乎为0，使得更新部分模型参数困难。

AlexNet引入了丢弃法（dropout），来控制全连接层的模型复杂度。
AlexNet引入了大量的图像增广，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

AlexNet的网络架构

AlexNet(
  (conv): Sequential(
    (0): Conv2d(1, 96, kernel_size=(11, 11), stride=(4, 4))
    (1): ReLU()
    (2): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
    (3): Conv2d(96, 256, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (4): ReLU()
    (5): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
    (6): Conv2d(256, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (7): ReLU()
    (8): Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (9): ReLU()
    (10): Conv2d(384, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU()
    (12): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (fc): Sequential(
    (0): Linear(in_features=6400, out_features=4096, bias=True)
    (1): ReLU()
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True)
    (4): ReLU()
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=10, bias=True)
  )
)