解决pytorch下载mnist等数据集速度过慢、失败问题

最新推荐文章于 2024-07-13 19:47:06 发布
最新推荐文章于 2024-07-13 19:47:06 发布
阅读量9.5k 收藏 35
点赞数 10
分类专栏： debug 文章标签： pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44414948/article/details/109756003
版权

问题：

pytorch用torchvision下载数据集时速度极慢，而且大概率下载失败，就很恶心人，心态炸裂，故写本文提出解决此问题的方法。

原因：

下载速度极慢主要原因是pytorch下载数据集的网站如下图所示，属于国外网站，访问受限且极不稳定，解决此问题的最好方法就是自己把mnist等数据集下载到本地，然后把download参数改为False，但此时仍然会报错！原因是没有在./MNIST/processed/目录下生成（.pt）文件。
在这里插入图片描述
torchvision加载mnist数据集的代码如下：

train_dataset = datasets.MNIST(
        root=r'./mnist', #此处为自己定义的下载存在目录
        train=
最低0.47元/天 解锁文章
CV干饭王
关注
  • 10
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
pytorch的MNIST数据集
07-18
这个数据集最近下载出现问题，在github上打了一下午给找齐了，为节省大家时间，直接打包供下载。包含： t10k-images-idx3-ubyte.gz t10k-labels-idx1-ubyte.gz train-images-idx3-ubyte.gz train-labels-idx1-ubyte.gz 在当前目录下建立./data文件夹，并上述mnist.zip解压缩至本地，会在将上述四个文件解压至./data/MNIST/raw，用torchvision.datasets.MNIST('./data', train=True, download=True, transform=transform)加载。如果中间有提示下载错误，进入./data/MNIST/raw目录，将下载错误的gz文件直接解压在目录中。
基于Pytorch实现MNIST手写数字数据集识别（源码+数据）.rar
05-06
1、资源内容：基于Pytorch实现MNIST手写数字数据集识别（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
【已解决】MNIST数据集下载失败：HTTP Error 403: Forbidden
最新发布
Genius_in_tears的博客
07-13 540
【已解决】MNIST数据集下载失败：HTTP Error 403: Forbidden
【Pytorch】使用torchvision下载mnist数据集速度过慢而报错的解决方案
weixin_44398263的博客
08-05 5278
今天跟着莫烦学pytorch，搭建的第一个CNN网络用于mnist手写数字体识别。首先需要用torchvision下载mnist数据集。 train_data = torchvision.datasets.MNIST( root='./mnist/', train=True, # this is training data transform=torchvision.transforms.ToTensor(),
Python 手写数字识别 MNIST数据集下载失败
水w的博客
02-10 3138
手写数字识别 MNIST数据集下载失败
【keras】解决 example 案例中 MNIST 数据集下载不了的问题
热门推荐
Houchaoqun_XMU的博客
11-10 3万+
前言： keras 源码中下载MNIST的方式是 path = get_file(path, origin='https://s3.amazonaws.com/img-datasets/mnist.npz')，数据源是通过 url = https://s3.amazonaws.com/img-datasets/mnist.npz 进行下载的。访问该 url 地址被墙了，导致 MNIST 相...
mnist数据集官网压缩包 解决下载过慢问题
08-19
└── MNIST ├── processed │   ├── test.pt │   └── training.pt └── raw ├── t10k-images-idx3-ubyte ├── t10k-labels-idx1-ubyte ├── train-images-idx3-ubyte └── train-labels-idx1-ubyte 将压缩包放在mnist/row，文件夹下运行train_set = mnist.MNIST('./data', train=True, download=True)即可解压，之后改为false即可调用
解决pytorch下载MNIST数据集缓慢的问题，非常简单
uknoweve的博客
04-10 5345
问题描述 train_loader=torch.utils.data.DataLoader( datasets.MNIST('data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0
Pytorch下载MNIST数据集缓慢（官网/网盘）
早睡早起
02-09 6857
解决Pytorch数据集如MNIST数据下载缓慢 数据是深度学习的魂，而在download数据集时，下载了一半就停滞不前…… 这时看你设置的下载目录，在MNIST里会有两个文件夹：processed和raw 打开raw能看到已经下载了的数据集。 其实MNIST数据集很小，直接访网站，手动下载数据集：http://yann.lecun.com/exdb/mnist/ 把下载的四个.gz文件复制到ra...
解决MNIST数据集下载慢，或者Http连接失败问题
hallo128的博客
06-23 487
若下载MNIST数据集时遇到速度慢的问题 解决：手动从MNIST数据集的官方网站直接使用下载好的数据文件，放到指定目录下，再进行调取即可。
python 下载 mnist 数据集失败
ulong的学习记录
11-13 3851
直接使用下面代码下载数据集失败了 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) 解决方法 去网站手动下载 http://yann.lecun.com/exdb/mnist/ 在代码同级目...
3分钟解决pytorch自带fashion-mnist数据集下载过慢的问题
dogknow的博客
09-20 2852
3分钟解决pytorch自带fashion-mnist数据集下载过慢的问题 1、运行如下命令（如果已经运行过命令即已经存在’/FashionMNIST/raw’目录结构的可直接跳至第2步） import torch import torchvision import torchvision.transforms as transforms train_set = torchvision.datasets.FashionMNIST( root='./data/FashionMNIST', t
用Pytorch自建6层神经网络训练Fashion-MNIST数据集，测试准确率达到 92%
frank 的专栏
09-10 1万+
一般的深度学习入门例子是 MNIST 的训练和测试，几乎就算是深度学习领域的 HELLO WORLD 了，但是，有一个问题是，MNIST 太简单了，初学者闭着眼镜随便构造几层网络就可以将准确率提升到 90% 以上。但是，初学者这算入门了吗？ 答案是没有。 现实开发当中的例子可没有这么简单，如果让初学者直接去上手 VOC 或者是 COCO 这样的数据集，很可能自己搭建的神经网络准确率不超过 30%。...
pytorch test单张图片_用PyTorch实现MNIST手写数字识别(非常详细)
weixin_39660408的博客
11-23 413
原文链接：https://nextjournal.com/gkoehler/pytorch-mnist​nextjournal.com欢迎关注公众号：xfxuezhanghello大家好！我又来搬文章了！MNIST可以说是机器学习入门的hello word了！导师一般第一个就让你研究MNIST，研究透了，也算基本入门了。好的，今天就来扯一扯学一学。 在本文中，我们将在PyTorch中构建一个简单...
Pytorch 手写数字识别 MNIST 国内下载缓慢解决方式，局域网文件分享。
清风徐来的博客
02-08 704
其实网上已经有很多方法了，说的也很明白，我这里简单再总结下： 思路就是，通过程序下载速度很慢，即使是挂上VPN速度也很慢特别耽误时间，所以我们可以通过下载工具，例如迅雷等到数据集的官网上把数据集的原始文件下载到本地。然后用本地的文件地址代替MNIST的资源resources的地址。也就是说从本地下载。 其他数据集同理。 这里提供一个本地文件的思路，我利用网上的方法，把域名改成"file...
Pytorch Torchvision MNIST 数据集 下载超时 无法下载
qq_37696924的博客
02-12 3653
Pytorch MNIST数据集下载不成功的几种解决方法： 1、多尝试几次，过了很久还是没下载好直接interrupt后再试试 2、早上网比较快，第二天早起再试试 3、每次下载如果不成功，已下载的部分不要删除，程序会直接使用，不会再重复下载了。这样每次下载一部分，多试几次之后，就可以全部下载完毕 4、如果还是不可以，直接从MNIST的官网下载 .gz 文件，将Pytorch中MNIST源代码中的u...
鱼书第三章：下载mnist数据集失败解决方案
m0_52695557的博客
06-14 519
将上述四个压缩包放入dataset文件夹中，注意dataset文件夹应在以下目录中。
动手学习深度学习花书踩坑01-----FashionMNIST数据集下载失败
Karen_Kiss的博客
03-12 710
李沐老师花书踩坑01-----FashionMNIST数据集下载失败
pytorch下载mnist数据集的代码
03-28
以下是使用PyTorch下载MNIST数据集的示例代码： ```python import torch import torchvision.datasets as datasets import torchvision.transforms as transforms # 定义数据转换 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) # 下载训练数据集 train_set = datasets.MNIST(root='./data', train=True, transform=transform, download=True) # 下载测试数据集 test_set = datasets.MNIST(root='./data', train=False, transform=transform, download=True) # 加载数据集 train_loader = torch.utils.data.DataLoader(train_set, batch_size=32, shuffle=True) test_loader = torch.utils.data.DataLoader(test_set, batch_size=32, shuffle=True) ``` 其中，`datasets.MNIST()`函数用于下载MNIST数据集，`transform`参数用于对数据进行预处理，`download=True`参数用于自动下载数据集。`torch.utils.data.DataLoader()`函数用于将数据集加载到内存中，`batch_size`参数用于定义每个批次的大小，`shuffle=True`参数用于打乱数据顺序。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值