关于数据集和模型的一些笔记

常用数据集简介

CIFAR(Canadian Institute For Advanced Research)

下载地址:https://www.cs.toronto.edu/~kriz/cifar.html

CIFAR10:分类数据集,10类,每类6000张,分辨率为32×32×3。

CIFAR100:分类数据集,20个大类,每个大类下有5小类,共100类,每类600张(其中,训练用数据500张,测试用100张)。分辨率32×32×3。

SVHN(The Street View House Numbers Dataset)

下载地址:http://ufldl.stanford.edu/housenumbers/

分类数据集,内容为自然场景中的数字(一般为通过谷歌街景获得的门牌号码图像),共10类,数字1到9对应标签1到9,数字0对应标签10。

数据集中有用于训练的73257张图像,用于测试的26032张图像,以及额外的531131张。

官方给出了两种数据格式,一种是带有识别框的图像,另一种是与MNIST数据集类似的,大小为32×32的图像。

MNIST

下载地址:http://yann.lecun.com/exdb/mnist/

是 NIST(National Institute of Standards and Technology)下的一个子数据集。内容为手写数字图像。其中,训练用样本60000张,测试用样本10000张,图像为28×28的灰度图。

ImageNet

下载地址:http://image-net.org/download

ILSVRC竞赛(The ImageNet Large Scale Visual Recognition Challenge)使用的数据集。竞赛内容为目标识别和分类。该竞赛首届于2010年举办,其中2012年夺冠的AlexNet掀起了当前深度学习热潮。随着深度学习的发展,机器在图像识别上取得的正确率已远高于人类,继续这样的比赛已意义不大,最后一届ILSVRC举办于2017年。

目前完整ImageNet数据集包含了2万多类总计1400多万张图像,而ILSVRC竞赛只会用到其中一部分(1000类,共计100万张图像左右)

用于分类的遥感影像数据集

下载地址:http://www.graphnetcloud.cn/page155

UCMerced_LandUse:分类任务的遥感数据集,共21类,绝大多数图片尺寸为256×256×3。

AID :分类任务的遥感影像数据集,图像像素大小为 600×600,总包含 30 类场景图像,每一类大概 220-420 张,共 10000 张。该数据集于 2017 年由武汉大学和华中科技大学发布。

NWPU-RESISC45:分类任务的遥感影像数据集,图像大小256×256,一共45类,每类700张,共31500张。

RSI-CB128:分类任务的遥感影像数据集,分辨率128×128,共7大类,45小类。

RSI-CB256:分类任务的遥感影像数据集,分辨率256×256,共7大类,35小类,共24747张。

 

验证集与测试集的区别

参考资料:https://blog.csdn.net/kieven2008/article/details/81582591

作用上,测试集一般用来评估模最终模型的泛化能力,但不作为调参、选择特征等算法的相关依据。验证集用于调超参数,监控模型是否发生过拟合(以决定是否停止训练)。一般测试集仅使用一次,验证集可多次使用,且可以和训练集相互转化(如交叉验证)。

一个形象的比喻:

训练集——学生的课本;学生根据课本里的内容来掌握知识。

验证集——作业;通过作业可以知道学生学习情况、进步的速度快慢。    

测试集-——考试;考的题是平常都没有见过,考察学生对知识的实际掌握程度。

实际上,不同模型在同一数据集上的训练效果不同,精确度也不同,为了公平衡量各个模型的优劣,有些数据集会给定一个子集,作为所有模型共同的测试集。这样所有模型在同一测试集下的结果才有对比性。

 

Pytorch下dataset使用

torchvision.datasets

ImageFolder:加载自定义数据集

torch.utils.data.DataLoader

参数简介:

dataset:指定要加载的数据集,类型与上面torchvision.datasets的类型一致。

drop_last:默认为False,当数据集中的数据量无法被batch size整除时起效。若为True则最后一个batch的数据被丢弃,若为False则保留,该batch的数据量会比之前的小。

shuffle:默认为False,设置为True时会在每个epoch重新打乱数据。

sampler:定义从数据集中提取样本的策略。如果指定,则忽略shuffle参数。

num_workers:加载数据时所要用到的子进程数,默认为0,即使用主进程。

 

Pytorch下model使用

vgg16和vgg16_bn的区别:后者采用了批归一化,效果更好。

原生Alexnet因为自身架构问题,当输入图像尺寸为32×32或更小时,会因为输出过小而报错(RuntimeError: Given input size: (256x1x1). Calculated output size: (256x0x0). Output size is too small.)

预训练模型

应用模型时,参数pretrain=true的意思是:采用预训练模型。

由于pytorch所提供的预训练模型是用ImageNet训练完成的,因此在使用预训练模型训练自己的数据集时,需要更改全连接层的结构,将预训练模型的1000个输出(使用的ImageNet数据集有1000类)设置为自己数据集的类别,例如:

from torch import nn
from torchvision import models

model = models.__dict__[model_name](pretrained=True)

对于不同模型,进行不同设置:

model.fc = nn.Linear(2048, num_class)     #resnet50
 
model.classifier._modules['6'] = nn.Linear(4096, num_class)     # vgg16、alexnet

model.classifier = nn.Linear(2208, num_class)     #densenet161

也可以通过查看网络的架构进行修改,以resnet系列和densenet系列为例:

#resnet
num_in = model.fc.in_features
model.fc = nn.Linear(num_in, num_class)

#densenet
num_in = model.classifier.in_features
model.classifier = nn.Linear(num_in, num_class)

 

  • 1
    点赞
  • 4
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:精致技术 设计师:CSDN官方博客 返回首页
评论 1

打赏作者

Zerg Wang

一键三连求关注(走错片场……)

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值