第四次作业：CNN实战

本博客为OUC2022秋季软件工程第四次作业——CNN实战。 

目录

使用VGG模型进行猫狗大战

1. 下载数据

2. 数据处理

3. 创建 VGG Model

4. 修改最后一层，冻结前面层的参数

5. 训练并测试全连接层

6. 可视化模型预测结果（主观分析）

AI研习社“猫狗大战”测试

1、下载测试集

2、读取图片并进行测试

3、结果写入csv文件 

4、提交测试结果 

想法和思考

---

使用VGG模型进行猫狗大战

引入库，并判断是否存在GPU设备。 

import numpy as np
import matplotlib.pyplot as plt
import os
import torch
import torch.nn as nn
import torchvision
from torchvision import models,transforms,datasets
import time
import json


# 判断是否存在GPU设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print('Using gpu: %s ' % torch.cuda.is_available())

​

1. 下载数据

通过wget下载数据集并解压。

! wget http://fenggao-image.stor.sinaapp.com/dogscats.zip
! unzip dogscats.zip

​

2. 数据处理

datasets 是 torchvision 中的一个包，可以用做加载图像数据。它可以以多线程（multi-thread）的形式从硬盘中读取数据，使用 mini-batch 的形式，在网络训练中向 GPU 输送。在使用CNN处理图像时，需要进行预处理。图片将被整理成  的大小，同时还将进行归一化处理。

torchvision 支持对输入数据进行一些复杂的预处理/变换 （normalization, cropping, flipping, jittering 等）。

normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

vgg_format = transforms.Compose([
                transforms.CenterCrop(224),
                transforms.ToTensor(),
                normalize,
            ])

data_dir = './dogscats'

dsets = {x: datasets.ImageFolder(os.path.join(data_dir, x), vgg_format)
         for x in ['train', 'valid']}

dset_sizes = {x: len(dsets[x]) for x in ['train', 'valid']}
dset_classes = dsets['train'].classes

运行以下代码，查看dsets属性，可以看到，0表示cats，1表示dogs。 

# 通过下面代码可以查看 dsets 的一些属性

print(dsets['train'].classes)
print(dsets['train'].class_to_idx)
print(dsets['train'].imgs[:5])
print('dset_sizes: ', dset_sizes)

loader_train = torch.utils.data.DataLoader(dsets['train'], batch_size=64, shuffle=True, num_workers=6)
loader_valid = torch.utils.data.DataLoader(dsets['valid'], batch_size=5, shuffle=False, num_workers=6)


'''
valid 数据一共有2000张图，每个batch是5张，因此，下面进行遍历一共会输出到 400
同时，把第一个 batch 保存到 inputs_try, labels_try，分别查看
'''
count = 1
for data in loader_valid:
    print(count, end='\n')
    if count == 1:
        inputs_try,labels_try = data
    count +=1

print(labels_try)
print(inputs_try.shape)

 定义一个可以显示图片的函数。

# 显示图片的小程序

def imshow(inp, title=None):
#   Imshow for Tensor.