第四次作业：猫狗大战挑战赛

由于老师所布置的作业，所以进行了一次基于pytorch的vgg模型的迁移学习，并在此处完成一篇技术博客。本次所使用的平台是谷歌的colab。
训练数据集使用的是老师给的数据，最后再将训练好的模型研在AI研习社猫狗大战赛题的测试集上进行测试，并上传结果进行在线评测。
本次实验分主要可以分为两部分，第一是参考老师的代码在colab实现数据集的加载以及模型的训练和测试（前三部分）；再就是看有没有什么可以改进的地方进行修改并进行测试（第四部分）。

老师的代码链接: https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_04_Transfer_VGG_for_dogs_vs_cats.ipynb.

一、加载数据集

1.在colab上加载自己的谷歌云盘。

from google.colab import drive
drive.mount('/content/drive')

2.import相关的包并判断是否在GPU上运行。

import numpy as np
import matplotlib.pyplot as plt
import os
import torch
import torch.nn as nn
import torchvision
from torchvision import models,transforms,datasets
import time
import json


# 判断是否存在GPU设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print('Using gpu: %s ' % torch.cuda.is_available())

3.下载数据。

! wget http://fenggao-image.stor.sinaapp.com/dogscats.zip
! unzip dogscats.zip

4.数据处理,使用datasets对数据集中的图像进行预处理。图片将被整理成 $224\times 224\times 3$ 的大小，同时还将进行归一化处理.

normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

vgg_format = transforms.Compose([
                transforms.CenterCrop(224),
                transforms.ToTensor(),
                normalize,
            ])
data_dir = '/content/drive/MyDrive/ColabNotebooks/dogscats'#这里是解压出来的数据集路径
dsets = {x: datasets.ImageFolder(os.path.join(data_dir, x), vgg_format)
         for x in ['train', 'valid']}

dset_sizes = {x: len(dsets[x]) for x in ['train', 'valid']}
dset_classes = dsets['train'].classes

二、VGG模型的加载及迁移学习

1.加载VGG模型。

model_vgg = models.vgg16(pretrained=True)
model_vgg = model_vgg.to(device)

2.冻结VGG模型前面层的参数，修改最后一层。

print(model_vgg)

model_vgg_new = model_vgg;

for param in model_vgg_new.parameters():
    param.requires_grad = False
model_vgg_new.classifier._modules['6'] = nn.Linear(4096, 2)
model_vgg_new.classifier._modules['7'] = torch.nn.LogSoftmax(dim = 1)

model_vgg_new = model_vgg_new.to(device)

print(model_vgg_new.classifier)

2.训练修改后的全连接层，并保存效果好的模型。

import time

'''
第一步：创建损失函数和优化器

损失函数 NLLLoss() 的 输入 是一个对数概率向量和一个目标标签. 
它不会为我们计算对数概率，适合最后一层是log_softmax()的网络. 
'''
criterion = nn.NLLLoss()

# 学习率
lr = 0.001

# 随机梯度下降
optimizer_vgg = torch.optim.SGD(model_vgg_new.classifier[6].parameters(),lr = lr)

#保存模型的路径
log_dir = '/content/drive/MyDrive/ColabNotebooks/model/'
'''
第二步：训练模型
'''

def train_model(model,dataloader,size,epochs=1,optimizer=None):
    model.train()
    
    for epoch in range(epochs):
        running_loss = 0.0
        running_corrects = 0
        count = 0
        for inputs,classes in dataloader:
            inputs = inputs.to(device)
            classes = classes.to(device)
            outputs = model(inputs)
            loss = criterion(outputs,classes)           
            optimizer = optimizer
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
            _,preds = torch.max(outputs.data,1)
            # statistics
            running_loss += loss.data.item()
            running_corrects += torch.sum(preds == classes.data)
            count += len(inputs)
            print('Training: No. ', count, ' process ... total: ', size)
        epoch_loss = running_loss / size
        epoch_acc = running_corrects.data.item() / size
        if epoch_acc >= 0.96: #当准确率超过一定数值时，保存模型
          localtime = time.strftime('%Y-%m-%d_%H:%M:%S')
          path = log_dir + str(epoch) + '_' + str(epoch_acc) + '_' + localtime
          torch.save(model, path)
          print("save: ", path,"\n")
        print('Loss: {:.4f} Acc: {:.4f} Epoch: {:d}'.format(
                     epoch_loss, epoch_acc, epoch))
        
        
# 模型训练
train_model(model_vgg_new,loader_train,size=dset_sizes['train'], epochs=20, 
            optimizer=optimizer_vgg)

3.测试训练好的模型。

model_vgg_new_1 = torch.load("/content/drive/MyDrive/ColabNotebooks/model/15_0.9972222222222222_2020-11-19_06:38:54")#之前保存的训练效果较好的模型
def test_model(model,dataloader,size):
    model.eval()
    predictions = np.zeros(size)
    all_classes = np.zeros(size)
    all_proba = np.zeros((size,2))
    i = 0
    running_loss = 0.0
    running_corrects = 0
    for inputs,classes in dataloader:
        inputs = inputs.to(device)
        classes = classes.to(device)
        outputs = model(inputs)
        loss = criterion(outputs,classes)           
        _,preds = torch.max(outputs.data,1)
        # statistics
        running_loss += loss.data.item()
        running_corrects += torch.sum(preds == classes.data)
        predictions[i:i+len(classes)] = preds.to('cpu').numpy()
        all_classes[i:i+len(classes)] = classes.to('cpu').numpy()
        all_proba[i:i+len(classes),:] = outputs.data.to('cpu').numpy()
        i += len(classes)
        print('Testing: No. ', i, ' process ... total: ', size)        
    epoch_loss = running_loss / size
    epoch_acc = running_corrects.data.item() / size
    print('Loss: {:.4f} Acc: {:.4f}'.format(
                     epoch_loss, epoch_acc))
    
  
test_model(model_vgg_new_1,loader_valid,size=dset_sizes['valid'])

三、在AI研习社猫狗大战赛题的测试集上的表现

1.数据加载。（这里要注意，因为赛题数据集中测试集的数据与老师的不同所以代码部分也有所不同）
数据集链接：赛题数据集

device = torch.device("cuda:0" )
normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
vgg_format = transforms.Compose([
                transforms.CenterCrop(224),
                transforms.ToTensor(),
                normalize,
            ])

dsets_mine = datasets.ImageFolder(r"/content/drive/MyDrive/ColabNotebooks/data1/cat_dog", vgg_format)#这里的地址是我存放赛题数据集的地址，需要注意的是这个地址只包含test
loader_test = torch.utils.data.DataLoader(dsets_mine, batch_size=1, shuffle=False, num_workers=0)

model_vgg_new = torch.load(r'/content/drive/MyDrive/ColabNotebooks/model/15_0.9972222222222222_2020-11-19_06:38:54')#加载之前保存的模型
model_vgg_new = model_vgg_new.to(device)

2.测试模型，并使用一个字典保存结果。

dic = {}
def test(model,dataloader,size):
    model.eval()
    predictions = np.zeros(size)
    cnt = 0
    for inputs,_ in tqdm(dataloader):
        inputs = inputs.to(device)
        outputs = model(inputs)
        _,preds = torch.max(outputs.data,1)    
        #这里是切割路径，因为dset中的数据不是按1-2000顺序排列的
        key = dsets_mine.imgs[cnt][0].split("\\")[-1].split('.')[0]
        dic[key] = preds[0]
        cnt = cnt +1
test(model_vgg_new,loader_test,size=2000)

3.将上面得到的字典数据按赛题要求封装成csv文件并上传进行在线测试。

with open("/content/drive/MyDrive/ColabNotebooks/csv/result5.csv",'a+') as f:
    for key in range(2000):
        #这里的yanxishe/test/是我的图片路径，按需更换
        f.write("{},{}\n".format(key,dic["/content/drive/MyDrive/ColabNotebooks/data1/cat_dog/test/"+str(key)]))

四、一些修改及结果

1.首先很自然想到的就是将SGD换成Adam。

# 随机梯度下降
optimizer_vgg = torch.optim.Adam(model_vgg_new.classifier[6].parameters(),lr = lr)

提交在线测试结果准确度提上了一点

2.然后，接下来想到的就是多加全连接层。

model_vgg_new.classifier._modules['6'] = nn.Linear(4096, 4096)
model_vgg_new.classifier._modules['7'] = nn.ReLU(inplace=True)
model_vgg_new.classifier._modules['8'] = nn.Dropout(p=0.5, inplace=False)
model_vgg_new.classifier._modules['9'] = nn.Linear(4096, 2)
model_vgg_new.classifier._modules['10'] = torch.nn.LogSoftmax(dim = 1)

然后神经元的数量有两次尝试，一次是4096->2048->2；另外一次就是4096->4096->2。两次结果如下所示：

总的来说，和老师原始版本的结果没什么差别（很可能是训练的次数不够，因为多了一层，想要效果好，直观上来说应该是要更大的数据量和更多的训练批次）。

五、心得体会

这次作业实现起来不算难（代码基本上还是逃不出老师所给的框架，基本都在“代码复现”😂）。主要难点还是在于对整个网络的理解，数据预处理的一些细节，以及对迁移学习的过程的理解。
本次作业同时也让我对colab平台有了更深的了解（免费的平台多少是有点局限，各种崩溃的现象😂，比如传输大数据的时候网页卡死，模型训练时的断连崩溃…看来还是得配个显卡好一点的台式机）。
总的来说，这次作业过程还是让自己学到了很多，挺不错的一次作业体验。