resnet:
esNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域里得到广泛的应用。它使用了一种连接方式叫做“shortcut connection”,顾名思义,shortcut就是“抄近道”的意思,下面是这个resnet的网络结构:
详细内容请查看链接
文件夹结构及配置:
data下存放cifar10数据集
models下存放resnet.py ,simple.py
test.py:
import torchvision as tv
import torch
import torchvision.transforms as transforms
from torchvision.transforms import ToPILImage
from torchvision import datasets, transforms
import torch.nn as nn
import torch.nn.functional as F
from torch import optim
from models.resnet import ResNet18
from torch.autograd import Variable
def trans_to_cuda(variable):
if torch.cuda.is_available():
return variable.cuda()
else:
return variable
if __name__ == '__main__':
#Compose是pytorch中的图像预处理包。一般用Compose把多个步骤整合到一起
#RandomCrop:在一个随机的位置进行裁剪
#RandomHorizontalFlip:以0.5的概率水平翻转给定的PIL图像
#Normalize:对具有平均值和标准差的张量图像进行归一化
#ToTensor:将PIL图像转换为[0,255]范围内的张量(H * W * C)转换为Tensor。Tensor(C * H * W)范围为[0.0,1.0]
transform_train = transforms.Compose([
transforms.RandomCrop(32, padding=4),
transforms.RandomHorizontalFlip(),
transforms.ToTensor(),
transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),])
transform_test = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])
#训练数据
#PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader,该接口定义在dataloader.py脚本中,只要是用PyTorch来训练模型基本都会用到该接口,
# 该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor。(方便产生一个可迭代对象(iterator),
# 每次输出指定batch_size大小的Tensor)
#num_workers:从注释可以看出这个参数必须大于等于0,0的话表示数据导入在主进程中进行,其他大于0的数表示通过多个进程来导入数据,可以加快数据导入速度
trainset = datasets.CIFAR10('./data', train=True, download=True,
transform=transform_train)
trainloader = torch.utils.data.DataLoader(
trainset,
batch_size=4,
shuffle=True,
num_workers=2)
# 加载测试数据
testset = datasets.CIFAR10('./data', train=False, transform=transform_test)
testloader = torch.utils.data.DataLoader(
testset,
batch_size=4,
shuffle=False,
num_workers=2)
classes = ('plane', 'car', 'bird', 'cat',
'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
#建立本地网络
local_model = ResNet18(name='Local',
created_time='2019')
#选择设备有无GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
local_model = trans_to_cuda(local_model)
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(local_model.parameters(), lr=0.001, momentum=0.9)
torch.set_num_threads(8)
# 训练的数据量为2个epoch,每个epoch为一个循环
# 每个epoch要训练所有的图片,每训练完成2000张便打印一下训练的效果(loss值) # 训练的数据量为5个epoch,每个epoch为一个循环
# # 每个epoch要训练所有的图片,每训练完成200张便打印一下训练的效果(loss值)
for epoch in range(2):
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# 输入数据
inputs, labels = data #torch.Size([4, 3, 32, 32]) tensor([8, 2, 7, 0])
inputs, labels = Variable(inputs), Variable(labels)
inputs = inputs.to(device)
labels = labels.to(device)
# 梯度清零
optimizer.zero_grad()
# forward + backward
outputs = local_model(inputs) #torch.Size([4, 10])
# print("*****")
# print(inputs.shape)
# print(labels)
# print(outputs.shape)
# print("*****")
loss = criterion(outputs,