pytorch从零开始学习(6)

最新推荐文章于 2024-05-30 14:40:11 发布

ZH_deeptransfer

最新推荐文章于 2024-05-30 14:40:11 发布

阅读量105

点赞数

文章标签： pytorch 学习深度学习

本文链接：https://blog.csdn.net/ZH_deeptransfer/article/details/129958042

版权

pytorch从零开始学习6

卷积神经网络基础版

1.与全连接的一些对比：

使用全连接时，若输入是一张图像，图像存在空间联系，而使用了全连接，会将这种空间联系丧失，因为将图片打平后相邻的两个像素点，可能就相隔很远，这种空间关系丧失。而使用卷积可以很好的保留这种相关性。

2.几个概念的理解

2.1 卷积层

我的理解：

卷积就是一种特征提取操作，卷积核就是某种特征，卷积操作就是根据在原图像（矩阵）上根据卷积核来提取相应的特征（卷积所表示的特征）。

为什么要将原图像的不同通道的卷积结果相加：为什么要提这个问题原因，因为我认为不应该将各个通道的卷积结果相加，而应该分别作为卷积结果。为什么。

多次卷积后，可以使得提取到更加深层次的特征信息，那么是不是卷积次数越多越好呢？，也可以理解为是否网络层数越多越好呢？答案是否定的，参见resnet论文

多通道卷积：多通道，如RGB三通道，（3,64,64）卷积核为（3,32,32）输出的结果是一个二维结果，当使用多个卷积核时，即想要提取多个不同特征时，得到的结果就是三维（n,out,out),其中，n为卷积核个数，

卷积的一些操作：padding等，为什么可以使用padding，

2.2 池化层

池化层的作用：

尺度不变性（旋转，平移，尺度），增强模型的抗差性。我的理解是在经过池化操作后，原始数据的特性不会消失，还能减小参数量。
特征降低维度，防止过拟合，提高模型泛化能力。

2.3 全连接层

将前面学习到的特征整合到一起，输出为一个值。好处：大大减小特征位置对分类带来的影响。举例子：在一张大的图片上，其中一部分是对象A，当卷积作用在对象A上时，得到结果B，而如果改变对象A在整个图片上的位置时，对于这个对象而言没有区别。即，A还是A。对于我们识别这个对象并没有区别，A不能因为它的位置不同而不同，即它的位置在哪并不重要，此时，全连接的特性发挥作用。

3.卷积神经网络pytorch简单版

# 导入相应的包
import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim

# 批大小设置
batch_size = 64

# -------------------------------------------------------数据预处理--------------------------------------------------------
transform = transforms.Compose([transforms.ToTensor(),
                                transforms.Normalize((0.1307,), (0.3081,))])

# train dataset and dataloader
train_dataset = datasets.MNIST(root='./data/mnist/', train=True, download=True, transform=transform)
train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size)

# test dataset and dataloader
test_dataset = datasets.MNIST(root='./data/mnist/', train=False, download=True, transform=transform)
test_loader = DataLoader(test_dataset, shuffle=False, batch_size=batch_size)


# --------------------------------------------------------定义模型----------------------------------------------------------
class Model(torch.nn.Module):
    # 初始化一些参数，一般是需要计算梯度的网络层定义
    def __init__(self):
        super(Model, self).__init__()
        self.conv1 = torch.nn.Conv2d(in_channels=1, out_channels=10, kernel_size=5)
        self.conv2 = torch.nn.Conv2d(in_channels=10, out_channels=20, kernel_size=5)
        self.pooling = torch.nn.MaxPool2d(kernel_size=2)
        self.fc = torch.nn.Linear(320, 10)
	
    # 前向传播
    def forward(self, x):
        batch_size_data = x.size(0)  # input size[batch_size, channel, height, width]
        out1 = F.relu(self.pooling(self.conv1(x)))
        out2 = F.relu(self.pooling(self.conv2(out1)))
        out3 = out2.view(batch_size_data, -1)
        out = self.fc(out3)  # 最后一层不使用激活函数

        return out


# -------------------------------------------------------实例化模型----------------------------------------------------------
model = Model()

# -------------------------------------------------损失函数与优化器定义----------------------------------------------------------
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)


# -----------------------------------------------------------迭代训练-------------------------------------------------------
def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(train_loader, 0):  # 返回的是(index,(data,label))
        inputs, target = data
        optimizer.zero_grad()  # 梯度清零，不能放在loss.backward()与optimizer.step()之间

        outputs = model(inputs)

        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()
		
        # 统计指标
        running_loss += running_loss.item()
        if batch_idx % 300 == 299:
            print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))
            running_loss = 0.0


# ---------------------------------------------------------------测试模型-----------------------------------------------------
def test():
    # 下面两个参数均是为了计算指标而设定（准确性指标）
    correct = 0
    total = 0
    with torch.no_grad():
        for data in test_loader:
            images, labels = data
            outputs = model(images)
            _, predicted = torch.max(outputs.data, dim=1)  # 返回值分析
            total += labels.size(0)
            correct += (predicted == labels).sum().item()

    print('accuracy on test set: %d %% ' % (100 * correct / total))


if __name__ == '__main__':
    for epoch in range(10):
        train(epoch)
        test()