pytorch从零开始学习6
卷积神经网络基础版
1.与全连接的一些对比:
使用全连接时,若输入是一张图像,图像存在空间联系,而使用了全连接,会将这种空间联系丧失,因为将图片打平后相邻的两个像素点,可能就相隔很远,这种空间关系丧失。而使用卷积可以很好的保留这种相关性。
2.几个概念的理解
2.1 卷积层
我的理解:
卷积就是一种特征提取操作,卷积核就是某种特征,卷积操作就是根据在原图像(矩阵)上根据卷积核来提取相应的特征(卷积所表示的特征)。
为什么要将原图像的不同通道的卷积结果相加:为什么要提这个问题原因,因为我认为不应该将各个通道的卷积结果相加,而应该分别作为卷积结果。为什么。
多次卷积后,可以使得提取到更加深层次的特征信息,那么是不是卷积次数越多越好呢?,也可以理解为是否网络层数越多越好呢?答案是否定的,参见resnet论文
多通道卷积:多通道,如RGB三通道,(3,64,64)卷积核为(3,32,32)输出的结果是一个二维结果,当使用多个卷积核时,即想要提取多个不同特征时,得到的结果就是三维(n,out,out),其中,n为卷积核个数,
卷积的一些操作:padding等,为什么可以使用padding,
2.2 池化层
池化层的作用:
- 尺度不变性(旋转,平移,尺度),增强模型的抗差性。我的理解是在经过池化操作后,原始数据的特性不会消失,还能减小参数量。
- 特征降低维度,防止过拟合,提高模型泛化能力。
2.3 全连接层
将前面学习到的特征整合到一起,输出为一个值。好处:大大减小特征位置对分类带来的影响。举例子:在一张大的图片上,其中一部分是对象A,当卷积作用在对象A上时,得到结果B,而如果改变对象A在整个图片上的位置时,对于这个对象而言没有区别。即,A还是A。对于我们识别这个对象并没有区别,A不能因为它的位置不同而不同,即它的位置在哪并不重要,此时,全连接的特性发挥作用。
3.卷积神经网络pytorch简单版
# 导入相应的包
import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim
# 批大小设置
batch_size = 64
# -------------------------------------------------------数据预处理--------------------------------------------------------
transform = transforms.Compose([transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))])
# train dataset and dataloader
train_dataset = datasets.MNIST(root='./data/mnist/', train=True, download=True, transform=transform)
train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size)
# test dataset and dataloader
test_dataset = datasets.MNIST(root='./data/mnist/', train=False, download=True, transform=transform)
test_loader = DataLoader(test_dataset, shuffle=False, batch_size=batch_size)
# --------------------------------------------------------定义模型----------------------------------------------------------
class Model(torch.nn.Module):
# 初始化一些参数,一般是需要计算梯度的网络层定义
def __init__(self):
super(Model, self).__init__()
self.conv1 = torch.nn.Conv2d(in_channels=1, out_channels=10, kernel_size=5)
self.conv2 = torch.nn.Conv2d(in_channels=10, out_channels=20, kernel_size=5)
self.pooling = torch.nn.MaxPool2d(kernel_size=2)
self.fc = torch.nn.Linear(320, 10)
# 前向传播
def forward(self, x):
batch_size_data = x.size(0) # input size[batch_size, channel, height, width]
out1 = F.relu(self.pooling(self.conv1(x)))
out2 = F.relu(self.pooling(self.conv2(out1)))
out3 = out2.view(batch_size_data, -1)
out = self.fc(out3) # 最后一层不使用激活函数
return out
# -------------------------------------------------------实例化模型----------------------------------------------------------
model = Model()
# -------------------------------------------------损失函数与优化器定义----------------------------------------------------------
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)
# -----------------------------------------------------------迭代训练-------------------------------------------------------
def train(epoch):
running_loss = 0.0
for batch_idx, data in enumerate(train_loader, 0): # 返回的是(index,(data,label))
inputs, target = data
optimizer.zero_grad() # 梯度清零,不能放在loss.backward()与optimizer.step()之间
outputs = model(inputs)
loss = criterion(outputs, target)
loss.backward()
optimizer.step()
# 统计指标
running_loss += running_loss.item()
if batch_idx % 300 == 299:
print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))
running_loss = 0.0
# ---------------------------------------------------------------测试模型-----------------------------------------------------
def test():
# 下面两个参数均是为了计算指标而设定(准确性指标)
correct = 0
total = 0
with torch.no_grad():
for data in test_loader:
images, labels = data
outputs = model(images)
_, predicted = torch.max(outputs.data, dim=1) # 返回值分析
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('accuracy on test set: %d %% ' % (100 * correct / total))
if __name__ == '__main__':
for epoch in range(10):
train(epoch)
test()
GPU训练
模型迁移到GPU
计算张量迁移到GPU,即inputs和target。注意:模型与输入要在同一个显卡上。测试、训练一样的操作。
性能的提升,可以从两个角度,错误率的降低或是正确率的提升
参考资料:CNN 入门讲解:什么是全连接层(Fully Connected Layer)? - 知乎 (zhihu.com)