传知代码-从零开始构建你的第一个神经网络

代码以及视频讲解

本文所涉及所有资源均在传知代码平台可获取

从零开始构建你的第一个神经网络

在本教程中，我们将使用PyTorch框架从零开始构建一个简单的卷积神经网络（CNN），用于图片二分类任务。CNN 是一种深度学习模型，特别适用于图像数据。本文将详细介绍如何一步步搭建一个包含4-5层的CNN，并训练它来分类图像。

1.准备工作

在开始之前，需要一些必要的库，本教程中使用的库的版本如下：

package	version
python	3.8.0
torch	1.13.0
scikit-learn	1.1.3
numpy	1.20.1
matplotlib	3.3.4

本软件包均是在anaconda虚拟环境中安装的。如果还没该虚拟环境还需要创建一下才可以。准备工作完成后就可以开始正式的神经网络搭建了。

2.数据集准备

在本教程中我们使用1元与100元人民币两个类别。其数据集存放格式如下图所示：

一共分为三个部分train、test和val，即训练验证和测试。“1”和“100”文件夹下面就是数据集图片。下面就来对数据集进行处理：

• 首先导入必要的包和进行数据的预处理

#导入包
import torch
import torchvision
import torchvision.transforms as transforms
#数据预处理
transform = transforms.Compose([
    transforms.Resize((64, 64)),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

• 加载数据集

train_data_path = "02-01-data-RMB_data/train" # 数据集存放的相对路径
trainset = datasets.ImageFolder(root=train_data_path, transform=transform)
trainloader = DataLoader(trainset, batch_size=4, shuffle=True)

val_data_path = "02-01-data-RMB_data/val"
valset = datasets.ImageFolder(root=val_data_path, transform=transform)
valloader = DataLoader(valset, batch_size=4, shuffle=False)

classes = trainset.classes # 获取类别名：这里为“1”和“100”

我们可以使用torchvision.datasets.ImageFolder来加载这些数据。ImageFolder会根据目录名自动将图像归类。

3.定义卷积神经网络结构并实例化模型

接下来，我们将定义一个简单的卷积神经网络。该网络将包含两个卷积层（每层后接池化层）和两个全连接层。

# 定义卷积神经网络
class SimpleCNN(nn.Module):
    def __init__(self, num_classes):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 16, 3, padding=1) #彩色图片输入通道为3：RGB；输出为16
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(16, 32, 3, padding=1)
        self.fc1 = nn.Linear(32 * 16 * 16, 120)
        self.fc2 = nn.Linear(120, num_classes)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 32 * 16 * 16) #展平操作成为1维
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 实例化模型
num_classes = len(classes)
net = SimpleCNN(num_classes).to(device)

上述网络结构中nn.Conv2d(3, 16, 3, padding=1) 表明彩色图片输入通道为3：RGB；输出为16，这里16可以自己定义，但是要与下一卷积层的输入通道数相同。16后面的3为卷积核大小即为3*3卷积。

4.训练和验证模型

4.1.配置训练参数

在开始训练之前，我们需要定义损失函数和优化器。这里我们将使用交叉熵损失函数和随机梯度下降（SGD）优化器。
这里不同的损失函数和不同的优化器也会影响模型最终的效果。比如可以使用Adam、AdamW等优化器。

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

4.2 模型训练与验证

# 存储训练损失和验证损失
train_losses = []
val_losses = []

# 训练模型并记录损失和准确率
for epoch in range(10):
    net.train()
    running_loss = 0.0
    correct = 0
    total = 0

    for i, data in enumerate(trainloader, 0):
        inputs, labels = data

        # 将输入和标签移动到GPU
        inputs, labels = inputs.to(device), labels.to(device)

        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

    train_loss = running_loss / len(trainloader)
    train_accuracy = 100 * correct / total
    train_losses.append(train_loss)

    # 验证模型
    net.eval()
    val_loss = 0.0
    correct = 0
    total = 0
    with torch.no_grad():
        for data in valloader:
            images, labels = data
            # 将输入和标签移动到GPU
            inputs, labels = inputs.to(device), labels.to(device)
            
            outputs = net(images)
            loss = criterion(outputs, labels)
            val_loss += loss.item()
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()

    val_loss = val_loss / len(valloader)
    val_accuracy = 100 * correct / total
    val_losses.append(val_loss)

    print(f'Epoch [{epoch + 1}/10], Train Loss: {train_loss:.4f}, Train Accuracy: {train_accuracy:.2f}%, Val Loss: {val_loss:.4f}, Val Accuracy: {val_accuracy:.2f}%')

print('Finished Training')
#保存模型在本地
model_save_path = "simple_cnn.pth"
torch.save(net.state_dict(), model_save_path)
print(f"Model saved to {model_save_path}")

在这里我们将训练模型10个epoch，并在每个epoch结束后输出损失和准确率，可以看到每一个epoch上的结果。
训练过程如下图：

5.性能评估与模型测试

5.1 性能评估

绘制loss曲线

# 绘制损失曲线
plt.figure()
plt.plot(train_losses, label='Train Loss')
plt.plot(val_losses, label='Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Loss Curve')
plt.legend()
plt.show()

查看结果

绘制混淆矩阵

# 混淆矩阵
net.eval()
all_preds = []
all_labels = []
with torch.no_grad():
    for data in valloader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        all_preds.extend(predicted.cpu().numpy())
        all_labels.extend(labels.cpu().numpy())

# 生成混淆矩阵
cm = confusion_matrix(all_labels, all_preds)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=classes)

# 绘制混淆矩阵
plt.figure()
disp.plot(cmap=plt.cm.Blues)
plt.title('Confusion Matrix')
plt.show()

在val文件夹中1和100的数量都是19，所以做到了100%的准确率。

5.2 模型测试

在第四步中我们将训练好的模型进行了保存，那么这里我们将模型加载出来对test数据集进行测试，看看模型效果如何。这里我们需要加载训练好的模型进行测试。

# 加载模型权重
model_path = "simple_cnn.pth"
net.load_state_dict(torch.load(model_path))

# 将模型移动到设备上
net.to(device)

# 设置模型为评估模式
net.eval()

# 加载测试集
test_data_path = "02-01-data-RMB_data/test"
testset = datasets.ImageFolder(root=test_data_path, transform=transform)
testloader = DataLoader(testset, batch_size=4, shuffle=False)

# 预测并输出结果
all_preds = []
all_labels = []
with torch.no_grad():
    for data in testloader:
        images, labels = data
        
        # 将数据移动到GPU
        images, labels = images.to(device), labels.to(device)
        
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        
        all_preds.extend(predicted.cpu().numpy())
        all_labels.extend(labels.cpu().numpy())

# 你可以在这里处理预测结果，比如输出预测值或计算准确率
correct = sum(1 for x, y in zip(all_preds, all_labels) if x == y)
total = len(all_labels)
accuracy = correct / total * 100

print(f"Test Accuracy: {accuracy:.2f}%")

完整代码和数据集在附件中，可以自行查看。

6.总结

在本教程中，我们从零开始构建了一个简单的卷积神经网络，并用它来完成图片的二分类任务。我们介绍了如何定义网络结构，如何训练和评估模型，并讨论了进一步优化模型的方法。

接下来，你可以尝试扩展网络的深度或宽度，使用更大的数据集，或者使用迁移学习等技术来提升模型的性能。祝你学习愉快！

源码下载