Pytorch--CNN实现kaggle猫狗大战(Dogs vs. Cats)

今天咱们来聊聊用Pytorch的CNN完成kaggle猫狗大战。

话不多说，进入正题。
首先，图片数据来源kaggle，在网站上搜索Dogs vs. Cats很多相关图片集，找一个下载下来。

我这里采用的数据集是：

• Train：4000张cat + 4000张dog
• Test：1000张cat + 1000张dog

Pytorch版本：(torch 1.3.1+cpu) + (torchvision 0.4.2+cpu)

步骤：
1. 重定义我们的Dataset
2. 定义我们的Pytorch CNN结构
3. 利用定义好的Dataset，载入我们的数据集
4. 创建CNN实例
5. 定义loss损失函数和我们的神经网络优化器
6. 训练
7. 测试，查看正确率

开始：

首先引入一些要用的库：

import os
import torch
from torchvision import transforms,datasets
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import numpy as np
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms, utils
import torch.optim as optim
from PIL import Image

定义DataTransform：

data_transform = transforms.Compose([
    transforms.Resize(84),
    transforms.CenterCrop(84),
    transforms.ToTensor(),
    transforms.Normalize(mean = [0.485, 0.456, 0.406],std = [0.229, 0.224, 0.225])
])

重定义Dataset：

class MyDataSet(Dataset):
    def __init__(self, txtPath, data_transform):
        self.imgPathArr = []
        self.labelArr = []
        with open(txtPath, "rb") as f:
            txtArr = f.readlines()
        for i in txtArr:
            fileArr = str(i.strip(), encoding = "utf-8").split(" ")
            self.imgPathArr.append(fileArr[0])
            self.labelArr.append(fileArr[1])
        self.transforms = data_transform

    def __getitem__(self, index):
        label = np.array(int(self.labelArr[index]))
        img_path = self.imgPathArr[index]
        pil_img = Image.open(img_path)
        if self.transforms:
            data = self.transforms(pil_img)
        else:
            pil_img = np.asarray(pil_img)
            data = torch.from_numpy(pil_img)
        return data, label

    def __len__(self):
        return len(self.imgPathArr)

这里我给Dataset传入了一个txt文件以及我上面定义的data_transform，这里主要说一下我的txt文件里的内容是图片路径+图片的label，这里0就是cat，1就是dog，到时候我的Dataset就会根据我txt里的内容创建相应的数据集(图片+label)，各位可以自己写一个简单的Python脚本去快速的遍历文件夹下的图片同时添加对应的Label，再将这些信息写入txt文件中。

当然，这只是我按照我的风格来重定义Dataset的，各位完全能按照自己的想法去定义自己的Dataset数据集格式，只要符合Pytorch的标准，不一定要按照我这种方式。