1. 残差块
输入X,经过两次次卷积,一次ReLU,得到F(X),在将X与F(X)相加,在经过一个ReLU,即为最后的结果。残差神经网络就是基于残差块的一个深度神经网络。
2. 代码
这篇博客理论涉及较少,主要是代码,在CIFAIR10数据集上,实现一个浅层的残差神经网络用于分类。
import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(torch.cuda.is_available())
num_epochs = 100
batch_size = 100
learning_rate = 0.001
transform = transforms.Compose([
transforms.Pad(4),
transforms.RandomHorizontalFlip(),
transforms.RandomCrop(32),
transforms.ToTensor()
])
train_datatset = torchvision.datasets.CIFAR10(root='../../data/',
train=True,