pytorch中将下载数据集改为读取本地数据集(以CIFAR10为例)

高速下载数据集的方式:
参考这篇

第一种情况:
(将封装好的下载数据集的代码改成读取本地文件)
在使用Pytorch的时候,有时候需要在线下载数据集,因为在下载的过程中,封装好的代码,还要进行其他的操作(例如数据类型转换numpy->tensor),但是有时候因为下载网站在国外,进度条一直显示0%,或者下载速度缓慢。
就像这样:
在这里插入图片描述
解决方法
1.先下载需要用到的数据集至本地文件夹(不需要解压)。
2.将数据集的路径复制到浏览器并打开在这里插入图片描述
3.再将浏览器上的路径复制到class CIFAR10(VisionDataset)中的url中在这里插入图片描述

注意:下面的filename也要修改成对应的文件名;将数据集路径直接复制到file:///后面也可以(要把“\”改成“/”)

然后就可以运行代码读取数据集了

第二种情况:
(直接写代码读取本地数据集)
解决方法:
1.下载数据集,并解压至本地文件夹。
在这里插入图片描述
2.使用Python3读取cifar-10中的数据。示例代码:

def load_file(filename):
    # filename表示需要读取文件的路径
    with open(filename,'rb') as fo:
        data = pickle.load(fo,encoding='latin1')   # bytes 官方的例程    latin1 读取数据
    return data

提示:上面的方法需要自己编写程序进行读取。需要时刻注意文件的路径。

3.上面的方法需要自己编写程序进行数据的读取,编写过程比较麻烦,而且容易出错。下面介绍使用Keras库中的cifar10.load_data()函数进行数据读取,直接可以读取出训练集和测试集。这里需要你首先安装tensorflow库和Keras库。
(1)将刚才下载的压缩文件直接复制,放到Keras库的数据集文件夹下,一般情况下在"C:\Users\用户名.keras\datasets" 下,如果有特殊情况读者可以自行寻找,然后将压缩文件粘贴到datasets文件夹下即可。在这里插入图片描述
(2)修改文件名。将文件名由:cifar-10-python.tar.gz 改为:cifar-10-batches-py.tar.gz点击保存即可。示例:在这里插入图片描述
(3)修改好文件名之后,直接退出,使用Python代码直接读取数据。示例:

from keras.datasets import cifar10  # 读取数据集
(x_train, y_train), (x_test, y_test) = cifar10.load_data()

提示:当上面程序运行时,会自动将压缩包进行解压操作,无需自己手动进行解压。

至此,当数据解压完成之后,就可以使用Keras库内置的函数进行读取数据了。

  • 1
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
YOLO系列是基于深度学习的端到端实时目标检测方法。 PyTorch版的YOLOv5轻量而性能高,更加灵活和易用,当前非常流行。 本课程将手把手地教大家使用labelImg标注和使用YOLOv5训练自己的数据集。课程实战分为两个项目:单目标检测(足球目标检测)和多目标检测(足球和梅西同时检测)。 本课程的YOLOv5使用ultralytics/yolov5,在Windows系统上做项目演示。包括:安装YOLOv5、标注自己的数据集、准备自己的数据集、修改配置文件、使用wandb训练可视化工具、训练自己的数据集、测试训练出的网络模型和性能统计。 希望学习Ubuntu上演示的同学,请前往 《YOLOv5(PyTorch)实战:训练自己的数据集(Ubuntu)》课程链接:https://edu.csdn.net/course/detail/30793  本人推出了有关YOLOv5目标检测的系列课程。请持续关注该系列的其它视频课程,包括:《YOLOv5(PyTorch)目标检测实战:训练自己的数据集》Ubuntu系统 https://edu.csdn.net/course/detail/30793Windows系统 https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测:原理与源码解析》课程链接:https://edu.csdn.net/course/detail/31428《YOLOv5目标检测实战:Flask Web部署》课程链接:https://edu.csdn.net/course/detail/31087《YOLOv5(PyTorch)目标检测实战:TensorRT加速部署》课程链接:https://edu.csdn.net/course/detail/32303《YOLOv5目标检测实战:Jetson Nano部署》课程链接:https://edu.csdn.net/course/detail/32451《YOLOv5+DeepSORT多目标跟踪与计数精讲》课程链接:https://edu.csdn.net/course/detail/32669《YOLOv5实战口罩佩戴检测》课程链接:https://edu.csdn.net/course/detail/32744《YOLOv5实战中国交通标志识别》课程链接:https://edu.csdn.net/course/detail/35209《YOLOv5实战垃圾分类目标检测》课程链接:https://edu.csdn.net/course/detail/35284       

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值