PyTorch构建卷积神经网络(CNN)训练模型:分步指南

《博主简介》

小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~
👍感谢小伙伴们点赞、关注!

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发2.【车牌识别与自动收费管理系统开发
3.【手势识别系统开发4.【人脸面部活体检测系统开发
5.【图片风格快速迁移软件开发6.【人脸表表情识别系统
7.【YOLOv8多目标识别与自动标注软件开发8.【基于YOLOv8深度学习的行人跌倒检测系统
9.【基于YOLOv8深度学习的PCB板缺陷检测系统10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统
11.【基于YOLOv8深度学习的安全帽目标检测系统12.【基于YOLOv8深度学习的120种犬类检测与识别系统
13.【基于YOLOv8深度学习的路面坑洞检测系统14.【基于YOLOv8深度学习的火焰烟雾检测系统
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统16.【基于YOLOv8深度学习的舰船目标分类检测系统
17.【基于YOLOv8深度学习的西红柿成熟度检测系统18.【基于YOLOv8深度学习的血细胞检测与计数系统
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统20.【基于YOLOv8深度学习的水稻害虫检测与识别系统
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统22.【基于YOLOv8深度学习的路面标志线检测与识别系统
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统
27.【基于YOLOv8深度学习的人脸面部表情识别系统28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统
29.【基于YOLOv8深度学习的智能肺炎诊断系统30.【基于YOLOv8深度学习的葡萄簇目标检测系统
31.【基于YOLOv8深度学习的100种中草药智能识别系统32.【基于YOLOv8深度学习的102种花卉智能识别系统
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统42.【基于YOLOv8深度学习的无人机视角地面物体检测系统
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统44.【基于YOLOv8深度学习的野外火焰烟雾检测系统
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统48.【基于深度学习的车辆检测追踪与流量计数系统
49.【基于深度学习的行人检测追踪与双向流量计数系统50.【基于深度学习的反光衣检测与预警系统
51.【基于深度学习的危险区域人员闯入检测与报警系统52.【基于深度学习的高密度人脸智能检测与统计系统
53.【基于深度学习的CT扫描图像肾结石智能检测系统54.【基于深度学习的水果智能检测系统
55.【基于深度学习的水果质量好坏智能检测系统56.【基于深度学习的蔬菜目标检测与识别系统
57.【基于深度学习的非机动车驾驶员头盔检测系统58.【基于深度学习的太阳能电池板检测与分析系统
59.【基于深度学习的工业螺栓螺母检测60.【基于深度学习的金属焊缝缺陷检测系统
61.【基于深度学习的链条缺陷检测与识别系统62.【基于深度学习的交通信号灯检测识别
63.【基于深度学习的草莓成熟度检测与识别系统64.【基于深度学习的水下海生物检测识别系统
65.【基于深度学习的道路交通事故检测识别系统

二、机器学习实战专栏【链接】,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~

《------正文------》

本文将分布详细介绍,如何使用PyTorch构建和训练一个简单的卷积神经网络(CNN),非常适合新手练手。我们将使用MNIST数据集(手写体数字数据集)来训练我们的模型。本指南假设你有一些Python和神经网络的基础知识,但不需要有PyTorch的经验。

CNN Architecture

步骤1:导入所需的库

首先,我们需要导入必要的库。PyTorch是我们用于构建和训练神经网络的主要库。我们还将使用torchvision来处理数据集和转换。

import torch
import torch.nn.functional as F
import torchvision.datasets as datasets
import torchvision.transforms as transforms
from torch import optim
from torch import nn
from torch.utils.data import DataLoader
from tqdm import tqdm

步骤2:定义卷积神经网络架构

我们将创建一个简单的CNN,它有两个卷积层,后面是一个完全连接的层。CNN特别适合图像数据,因为它们会自动捕获图像中的空间层次结构,例如边缘,纹理和更复杂的模式。

卷积层

卷积层是CNN的构建块。它们由几个关键组成部分组成:

过滤器(内核)-kernal

  • 滤波器是在输入图像上滑动并执行逐元素乘法然后求和的小矩阵。每个滤波器被设计为检测输入图像中的特定特征。
  • 例如,过滤器可以检测水平边缘、垂直边缘或更复杂的纹理。
  • 将滤波器应用于输入图像的输出称为特征图或激活图。如果你有多个过滤器,你会得到多个特征图。

img

步幅-stride

  • 步幅是滤波器在输入图像上移动的步长。
  • 步幅为1意味着过滤器一次移动一个像素,包括水平和垂直方向。
  • 较大的步幅会减小特征图的大小,因为过滤器会跳过更多的像素。例如,步幅为2意味着过滤器一次移动两个像素,有效地对特征图进行下采样。

img

填充-padding

  • 填充涉及在输入图像的边界周围添加额外的像素。这些额外的像素通常设置为零(零填充)。
  • 填充可确保滤镜正确地覆盖图像,尤其是在边缘处。如果没有填充,特征图的大小在每次卷积操作后都会减小。
  • 例如,如果您有一个5x5的输入图像和一个没有填充的3x3过滤器,则生成的特征图将是3x3。当padding为1时,特征图保持与输入相同的大小。

img

特征图

  • 特征图是在对输入图像应用滤波器之后卷积层的输出。
  • 每个特征映射对应于不同的过滤器,并从输入中捕获不同的特征。
  • 将多个特征图堆叠在一起形成多通道输出,该输出用作下一层的输入。

img

池化层

池化层减少了特征图的空间维度,这有助于提高网络的计算效率并减少过拟合。有两种主要类型的池:

img

  1. 最大池化
  • 最大池化从特征图的每个补丁中获取最大值。
  • 例如,在2x2最大池化操作中,取特征图的每个2x2块的最大值来创建新的较小特征图。
  • 此操作会将特征图的大小在水平和垂直方向上减少一半,但保留最突出的特征。
  1. 平均合并
  • 平均池取特征图每个补丁的平均值。
  • 类似于最大池,但不是最大值,而是每个块的平均值。
  • 这在不同的上下文中可能很有用,尽管最大池在实践中更常见。

以下是我们如何定义我们的CNN:

class CNN(nn.Module):
    def __init__(self, in_channels, num_classes=10):
        """
        Define the layers of the convolutional neural network.

        Parameters:
            in_channels: int
                The number of channels in the input image. For MNIST, this is 1 (grayscale images).
            num_classes: int
                The number of classes we want to predict, in our case 10 (digits 0 to 9).
        """
        super(CNN, self).__init__()

        # First convolutional layer: 1 input channel, 8 output channels, 3x3 kernel, stride 1, padding 1
        self.conv1 = nn.Conv2d(in_channels=in_channels, out_channels=8, kernel_size=3, stride=1, padding=1)
        # Max pooling layer: 2x2 window, stride 2
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
        # Second convolutional layer: 8 input channels, 16 output channels, 3x3 kernel, stride 1, padding 1
        self.conv2 = nn.Conv2d(in_channels=8, out_channels=16, kernel_size=3, stride=1, padding=1)
        # Fully connected layer: 16*7*7 input features (after two 2x2 poolings), 10 output features (num_classes)
        self.fc1 = nn.Linear(16 * 7 * 7, num_classes)

    def forward(self, x):
        """
        Define the forward pass of the neural network.

        Parameters:
            x: torch.Tensor
                The input tensor.

        Returns:
            torch.Tensor
                The output tensor after passing through the network.
        """
        x = F.relu(self.conv1(x))  # Apply first convolution and ReLU activation
        x = self.pool(x)           # Apply max pooling
        x = F.relu(self.conv2(x))  # Apply second convolution and ReLU activation
        x = self.pool(x)           # Apply max pooling
        x = x.reshape(x.shape[0], -1)  # Flatten the tensor
        x = self.fc1(x)            # Apply fully connected layer
        return x

步骤3:硬件设置

PyTorch可以在CPU和GPU上运行。我们将设备设置为使用GPU(如果可用);否则,我们将使用CPU。

device = "cuda" if torch.cuda.is_available() else "cpu"

步骤4:定义超参数

超参数是用于调整模型训练方式的配置设置。

input_size = 784  # 28x28 pixels (not directly used in CNN)
num_classes = 10  # digits 0-9
learning_rate = 0.001
batch_size = 64
num_epochs = 10  # Reduced for demonstration purposes

第5步:加载数据

我们将使用torchvision.datasets模块下载并加载MNIST数据集。我们还将使用DataLoader来处理批处理和洗牌。

train_dataset = datasets.MNIST(root="dataset/", download=True, train=True, transform=transforms.ToTensor())
train_loader = DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True)

test_dataset = datasets.MNIST(root="dataset/", download=True, train=False, transform=transforms.ToTensor())
test_loader = DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=True)

步骤6:初始化网络

我们实例化我们的神经网络并将其移动到设备(GPU或CPU)。

model = CNN(in_channels=1, num_classes=num_classes).to(device)

步骤7:定义损失和优化器

我们将使用交叉熵损失进行分类,并使用Adam优化器更新模型的权重。

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=learning_rate)

步骤8:训练网络

我们将多次循环数据集(epoch),并根据损失更新模型的权重。

for epoch in range(num_epochs):
    print(f"Epoch [{epoch + 1}/{num_epochs}]")
    for batch_index, (data, targets) in enumerate(tqdm(train_loader)):
        # Move data and targets to the device (GPU/CPU)
        data = data.to(device)
        targets = targets.to(device)

        # Forward pass: compute the model output
        scores = model(data)
        loss = criterion(scores, targets)

        # Backward pass: compute the gradients
        optimizer.zero_grad()
        loss.backward()

        # Optimization step: update the model parameters
        optimizer.step()

步骤9:模型评估

我们将定义一个函数来检查模型在训练和测试数据集上的准确性。

def check_accuracy(loader, model):
    """
    Checks the accuracy of the model on the given dataset loader.

    Parameters:
        loader: DataLoader
            The DataLoader for the dataset to check accuracy on.
        model: nn.Module
            The neural network model.
    """
    if loader.dataset.train:
        print("Checking accuracy on training data")
    else:
        print("Checking accuracy on test data")

    num_correct = 0
    num_samples = 0
    model.eval()  # Set the model to evaluation mode

    with torch.no_grad():  # Disable gradient calculation
        for x, y in loader:
            x = x.to(device)
            y = y.to(device)

            # Forward pass: compute the model output
            scores = model(x)
            _, predictions = scores.max(1)  # Get the index of the max log-probability
            num_correct += (predictions == y).sum()  # Count correct predictions
            num_samples += predictions.size(0)  # Count total samples

        # Calculate accuracy
        accuracy = float(num_correct) / float(num_samples) * 100
        print(f"Got {num_correct}/{num_samples} with accuracy {accuracy:.2f}%")
    
    model.train()  # Set the model back to training mode

# Final accuracy check on training and test sets
check_accuracy(train_loader, model)
check_accuracy(test_loader, model)

结论

本文使用PyTorch构建、训练和评估了一个简单的卷积神经网络(CNN)。本指南涵盖了从定义模型架构到加载数据、训练模型和评估其性能的基本内容。CNN是图像识别任务的强大工具,PyTorch为开发它们提供了一个灵活而强大的框架。


关注文末名片G-Z-H:【阿旭算法与机器学习】,发送【开源】可获取更多学习资源

在这里插入图片描述

好了,这篇文章就介绍到这里,喜欢的小伙伴感谢给点个赞和关注,更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见,欢迎在评论区留言交流!

<think>好的,我现在需要帮助用户构建一个使用CNN进行人脸识别和分类的深度学习模型。用户可能已经有一定的机器学习基础,但具体到CNN的应用可能还不太熟悉。首先,我需要明确用户的需求:设计并实现一个基于CNN的人脸图像识别系统,可能包括数据准备、模型构建训练和评估等步骤。 首先,我应该回顾CNN的基本结构,比如卷积层、池化层、全连接层等。然后考虑在人脸识别中常用的架构,比如VGG、ResNet或者用户自己设计的简单网络。接下来,数据准备是关键,可能需要用到公开的人脸数据集,比如LFW、CelebA或者FER2013,特别是如果用户需要表情识别的话。数据预处理步骤包括归一化、数据增强(旋转、翻转等)来防止过拟合。 然后,模型构建部分需要详细说明各层的作用和参数设置。比如输入层的大小应该与图像尺寸匹配,卷积层使用ReLU激活函数,池化层减少参数数量,全连接层进行分类。还需要考虑损失函数,通常使用交叉熵损失,优化器选择Adam或SGD。 训练过程中,批量大小、学习率、epoch数都是重要参数,可能需要调整。过拟合问题可以通过Dropout层或正则化来解决。评估指标如准确率、混淆矩阵,以及测试集的使用方法也需要说明。 用户提供的引用中提到了Matlab的实现,但用户的问题可能更倾向于Python和TensorFlow/PyTorch,不过需要确认。如果用户希望用Matlab,可能需要调整代码示例,但通常深度学习社区更多使用Python,所以可能默认给出Keras或PyTorch的代码。 可能还需要考虑迁移学习,比如使用预训练模型进行微调,特别是在数据量不足的情况下。但用户的问题更多是设计自己的模型,所以可能需要从零开始构建一个简单的CNN。 另外,用户的应用场景是人脸识别和分类,可能需要区分不同的人或者不同的表情,根据引用3,用户可能对七种表情分类感兴趣,所以数据集的选取可能需要对应。 最后,生成相关问题时要涵盖模型优化、数据增强、调参、部署等方面,帮助用户进一步学习。</think>以下是使用卷积神经网络CNN)实现人脸图像识别与分类的分步指南: ### 一、模型设计步骤 1. **数据准备** - 数据集选择:推荐使用$LFW$、$CelebA$(人脸识别)或$FER2013$(表情分类)数据集 - 数据预处理: - 统一图像尺寸为$128\times128$像素 - 归一化像素值到$[0,1]$区间 - 应用数据增强技术:$$x' = RandomRotation(20^\circ) + RandomFlip() + RandomBrightness(0.2)$$ 2. **网络架构设计** ```python from tensorflow.keras import layers, models model = models.Sequential([ # 特征提取部分 layers.Conv2D(32, (3,3), activation='relu', input_shape=(128,128,3)), layers.MaxPooling2D((2,2)), layers.Conv2D(64, (3,3), activation='relu'), layers.MaxPooling2D((2,2)), layers.Conv2D(128, (3,3), activation='relu'), # 分类部分 layers.Flatten(), layers.Dense(512, activation='relu'), layers.Dropout(0.5), layers.Dense(num_classes, activation='softmax') # 根据任务设置类别数 ]) ``` 3. **关键参数设置** - 输入维度:$128\times128\times3$(RGB图像) - 卷积核尺寸:$3\times3$矩阵 - 池化操作:$2\times2$最大池化 - 输出层激活函数:$softmax$(多分类任务) ### 二、模型实现要点 1. **损失函数选择** $$L = -\frac{1}{N}\sum_{i=1}^{N}\sum_{c=1}^{C}y_{i,c}\log(p_{i,c})$$ 使用交叉熵损失函数处理多分类任务 2. **训练参数配置** ```python model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) history = model.fit(train_images, train_labels, epochs=30, batch_size=32, validation_split=0.2) ``` 3. **性能优化策略** - 添加批量归一化层提升训练稳定性 - 使用早停法(Early Stopping)防止过拟合 - 应用学习率衰减策略:$$lr_{t} = lr_{0} \times 0.1^{\lfloor t/10 \rfloor}$$ ### 三、模型评估方法 1. **基础指标计算** $$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}$$ 2. **混淆矩阵分析** - 精确率:$Precision = TP/(TP+FP)$ - 召回率:$Recall = TP/(TP+FN)$ 3. **ROC曲线绘制** - 计算不同阈值下的TPR和FPR: $$TPR = \frac{TP}{TP+FN},\quad FPR = \frac{FP}{FP+TN}$$ ### 四、进阶优化方向 1. **使用预训练模型** - 采用迁移学习方法,加载$VGG16$或$ResNet50$的预训练权重: ```python base_model = tf.keras.applications.ResNet50( weights='imagenet', include_top=False, input_shape=(128,128,3)) ``` 2. **注意力机制集成** - 添加SE(Squeeze-and-Excitation)注意力模块: $$x_{out} = x \cdot \sigma(W_2\delta(W_1\frac{1}{HWC}\sum_{i,j,c}x_{ijc}))$$ 3. **多任务学习框架** - 同时进行人脸识别和属性分析(性别、年龄、表情) [^1]: 引用CNN基础理论 [^2]: 引用人脸识别系统实现 [^3]: 引用分类任务实现方法
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值