本文内容来源于《动手深度学习》一书。跟着沐神做kaggle比赛。
注:以下代码都在jupyter中完成。
1、比赛介绍:
该任务是:给出树叶的图片,将给出的树叶分成176类。
数据如下图所示,通过下面的网址,下载训练数据和测试数据:
比赛地址及数据下载地址:https://www.kaggle.com/c/classify-leaves/data
2、数据划分:
在开始之前,我们先看看数据集长什么样子:
其中.csv中存放的是图片的地址和对应的标签。
首先我们读取一下.csv中的数据,看看长什么样子:
# 下面两行是防止内核挂掉加的
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
import collections
import math
import os
import shutil
import pandas as pd
import torch
import torchvision
from torch import nn
from d2l import torch as d2l
train_data = pd.read_csv(r"../data/classify-leaves/train.csv") # 训练数据
test_data = pd.read_csv(r"../data/classify-leaves/test.csv") # 测试数据
print(train_data.shape)
print(test_data.shape)
train_data # 训练数据有标签
输出:
test_data # 测试数据没有标签
输出:
我们可以观察到,train.csv中存放了训练数据集的图片相对地址和对应的标签,而test.csv中只存放了测试数据集的图片相对地址,标签需要我们预测么,当然没有了。
对数据有了一个直观的理解之后,接下来我们开始读取数据:读取数据集所在地址、并整理数据集。这里要注意,训练数据和测试数据都放在image文件夹下,我们需要通过train.csv和test.csv中的图片地址来将他们划分开。
整理数据集思路很简单:将训练数据集和测试数据集划分开,然后将训练数据集中每一个类建立一个文件夹,并把标签对应的图片复制一份到里面。(这里我们用到了验证数据集,和训练数据集操作是一样的)
下面的几个函数就是对上面的描述进行操作,都在注释中。
def read_csv_labels(fname):
"""读取 `fname` 来给标签字典返回一个文件名。"""
with open(fname, 'r') as f:
lines = f.readlines()[1:]
tokens = [l.rstrip().split(',') for l in lines]
return dict(((name, label) for name, label in tokens))
labels = read_csv_labels(os.path.join(data_dir, 'train.csv')) # 存放训练集标签的文件
def copyfile(filename, target_dir):
"""将文件复制到目标目录。"""
os.makedirs(target_dir, exist_ok=True)
shutil.copy(filename, target_dir)
def reorg_train_valid(data_dir, labels, valid_ratio):
# 下面的collections.Counter就是统计label这个字典中有几个类别(返回字典);.most_common()则转换成元组;[-1][1]则返回最后一个元组的第二个值(因为这个类别数量最小)
n = collections.Counter(labels.values()).most_common()[-1][1] # n就是数量最少类别对应的数量
n_valid_per_label = max(1, math.floor(n * valid_ratio)) # 根据最小类别数量,得出验证集的数量
label_count = {
}
for train_file in labels: # 返回训练集中的图片名字列表(我们看到,训练标签转换成的字典,key就是训练集的图片名字)
label = labels[train_file] # 每张图片 对应的标签
fname = os.path.join(data_dir, train_file) # 每个图片的完整路径
copyfile(
fname,
os.path.join(data_dir, 'train_valid_test', 'train_valid', label)) # 将图片复制到指定的目录下,这个是为了交叉验证使用,这里和训练集没区别
if label not in label_count or label_count[label] < n_valid_per_label: # 制作验证集。注:标签名作为key,value为每个标签的图片数量
copyfile(
fname,
os.path.join(data_dir, 'train_valid_test'