课程链接PyTorch深度学习实践第十节课程。
go go go~!
卷积神经网络的基础知识中介绍了卷积核、池化等情况。
简言之,我认为卷积是用来帮助我们提取特征的,但最终都要进入全连接层,
代码
import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim
# 1 prepare dataset
batch_size=64
transform=transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,),(0.3081,))])
# loader
train_dataset=datasets.MNIST(root='../dataset/mnist/', train=True, download=True, transform= transform)
train_loader=DataLoader(train_dataset, shuffle=True, batch_size=batch_size)
test_dataset=datasets.MNIST(root='../dataset/mnist/', train=False, download=True, transform= transform)
test_loader= DataLoader(test_dataset, shuffle =False, batch_size=batch_size)
# design model using Class
Class Net(torch.nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = torch.nn.Conv2d(1, 10, kernel_size=5)
self.conv2 = torch.nn.Conv2d(10, 20, kernel_size=5)
self.pooling = torch.nn.MaxPool2d(2)
self.fc = torch.nn.Linear(320, 10)
def forward(self, x):
#flatten data from (n, 1, 28, 28) to (n, 784) 1-D
batch_size = x.size(0)
x = F.relu(self.pooling(self.conv1(x)))
x = F.relu(self.pooling(self.conv2(x)))
x = x.view(batch_size, -1) #-1 此处则自动算出的是320
x = self.fc(x)
return x
model =Net() #
# construct loss and optimizer
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)
# training cycle forward, backward, updata weight
def train(epoch):
running_loss = 0.0
for batch_idx, data in enumerate(train_loader, 0):
inputs, target = data
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, target)
loss.backward()
optimizer.step()
running_loss += loss.item()
if batch_idx % 300 == 299: # one epoch has 300 iterations
print('[%d, %5d] loss: %.3f' % (epoch+1, batch_idx+1, running_loss/300)) #mean loss
running_loss = 0.0
def test():
correct = 0
total = 0
with torch.no_grad(): # the functions of ' with '
for data in test_loader:
images, labels = data
outputs = model(images)
_, predicted = torch.max(outputs.data, dim = 1 )
total += labels.size(0)
correct +=(predicted == labels).sum().item() # compute the correct of the batch_size of images
print('accuracy on test set: %d %% ' %(100*correct/total))
if __name__ == '__main__':
for epoch in range(10):
train(epoch)
test()
代码说明
1、每一个卷积核它的通道数量要求和输入通道是一样的。这种卷积核的总数有多少个和你输出通道的数量是一样的。
2、卷积(convolution)后,C(Channels)变,W(width)和H(Height)可变可不变,得到的是特征图,取决于是否padding。subsampling(或pooling)后,C不变,W和H变。
3、卷积神经网络整体架构:卷积(线性变换)保留图像的空间信息,激活函数(非线性变换),池化;这个过程若干次后,view打平,进入全连接层。
4、卷积层要求输入输出是四维张量(B,C,W,H),全连接层的输入与输出都是二维张量(B,Input_feature)。
5、torch.nn.Conv2d(1,10,kernel_size=3,stride=2,bias=False)
- 1是指输入的Channel,灰色图像是1维的;
- 10是指输出的Channel,也可以说第一个卷积层需要10个卷积核;
- kernel_size=3,卷积核大小是3x3;
- stride=2进行卷积运算时的步长,默认为1;
- bias=False卷积运算是否需要偏置bias,默认为False。
- padding = 0,卷积操作是否补0。
self.fc = torch.nn.Linear(320, 10)
这个320获取的方式,可以通过执行了x = x.view(batch_size, -1) 后 **通过print(x.shape)**可得到(64,320),64指的是batch,320就是指要进行全连接操作时,输入的特征维度。
调试过程变量情况
1、图像数据集加载情况,test 共10000个样本 train共 60000个样本
2、执行完了view之后,就可以看到x当前的shape了,自动算出是多少了
x.shape
结果
这是第10个epoch的时候,准确率已经到达98%了。
可以对比全连接网络做手写数字的多分类问题。
by 小李
如果你坚持到这里了,请一定不要停,山顶的景色更迷人!好戏还在后面呢。加油!
欢迎交流学习和批评指正,你的点赞和留言将会是我更新的动力!谢谢😃