PyTorch搭建AlexNet网络模型

最新推荐文章于 2024-04-18 16:28:07 发布

zhooooooou

最新推荐文章于 2024-04-18 16:28:07 发布

阅读量944

点赞数 27

分类专栏：深度学习文章标签： pytorch 人工智能 python 神经网络深度学习机器学习

本文链接：https://blog.csdn.net/2301_78820199/article/details/136591400

版权

深度学习专栏收录该内容

19 篇文章 2 订阅

订阅专栏

本文详细介绍了如何在PyTorch中实现AlexNet神经网络，包括层结构的构建（如Conv2d、ReLU、MaxPool2d和全连接层）、权重的初始化策略（如Kaiming初始化）以及如何通过`nn.Sequential`和`Dropout`减少过拟合。

摘要由CSDN通过智能技术生成

以上是我们通过初始化函数来定义网络在正向传播过程中所需要使用到的一些层结构中的参数。

1、导包，定义类名，并继承父类 nn.Module, 并定义初始化函数。

2、通过 nn.Sequential() 函数将一系列层结构进行打包，组合成一个新的结构，定义函数名为 features 是专门用于提取图像特征的一个结构。

3、本次模型中的 kernal_num 卷积核个数的数据只采取了原论文中一半的值，为了加快训练速度，并且对最后的结果没有什么影响。

4、第一个卷积核传入padding值时，表格中给出 [1,2], 因为这样准确传入需要使用别的方法，为了简便操作，我们给上下左右都传入2，在计算结果卷积后输出尺寸时会出现小数，但pytorch会自动向下取整得到整数。详细的padding传参格式请看下图。

5、inplace ：pytorch 通过一种增加计算量但是降低内存容量的方法，使用这个方法，能在内存中载入更大的模型

nn.ReLU(inplace=True),

6、定义全连接层

 self.classifier = nn.Sequential()

7、通过Dropout()函数降低过拟合，p=0.5 是随机失活的比率。

nn.Dropout(p=0.5),

8.初始化权重：如果在传入参数时，传入初始化权重为True，那么会自动进入_initialize_weights()这个函数。

一般不用传入参数，因为在pytorch中会自动调用凯明初始化。

if init_weights:
    self._initialize_weights()

9、判断所遍历的层结构是否等于我们给定的类型。

 if isinstance(m, nn.Conv2d)

10、初始化的方法：凯明初始化

nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')

全部代码实现

import torch.nn as nn
import torch


class AlexNet(nn.Module):
    def __init__(self, num_classes=1000, init_weights=False):
        super(AlexNet).__init__()
        self.features = nn.Sequential(  
            nn.Conv2d(3, 48, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(48, 128, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(128, 192, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(192, 128, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(192, 128, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(p=0.5),
            nn.Linear(128 * 6 * 6, 2048),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(2048, 2048),
            nn.ReLU(inplace=True),
            nn.Linear(2048, num_classes),
        )
        if init_weights:
            self._initialize_weights()

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, start_dim=1)  # 将数据做展平处理
        x = self.classifier(x)
        return x   # 最后返回网络的预测输出

    def _initialize_weights(self):
        for m in self.modules():
            if isinstance(m, nn.Conv2d):
                nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
                if m.bias is not None:
                    nn.init.constant_(m.bias, 0)
            elif isinstance(m, nn.Linear):
                nn.init.normal_(m.weight, 0, 0.01)  # 后两位分别是 均值和方差
                nn.init.constant_(m.bias, 0)

将整个代码配合着详细解释观看最佳，比较难懂的代码都做了详细解释，不是很难的在代码中写了注释。