pytorch数据集下载Mnist数据集过慢解决方法

最新推荐文章于 2020-11-17 22:50:18 发布
最新推荐文章于 2020-11-17 22:50:18 发布
阅读量1.5k 收藏
点赞数
分类专栏： 机器学习 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kelanxian4902/article/details/105826701
版权

看到一个大佬的解决方案，完美解决：
https://blog.csdn.net/york1996/article/details/81780065

热爱学习的伊凡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch 官方 示例代码 MNIST 数据集
09-05
Pytorch 官方 示例代码 MNIST 数据集，使用tar 命令压缩过，需要解压请使用 tar 工具进行操作
解决pytorch下载MNIST数据集缓慢的问题，非常简单
uknoweve的博客
04-10 5201
问题描述 train_loader=torch.utils.data.DataLoader( datasets.MNIST('data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0
解决pytorch下载mnist等数据集速度过慢、失败问题
weixin_44414948的博客
11-17 8094
问题： pytorch用torchvision下载数据集时速度极慢，而且大概率下载失败，就很恶心人，心态炸裂，故写本文提出解决此问题的方法。 原因： 下载速度极慢主要原因是pytorch下载数据集的网站如下图所示，属于国外网站，访问受限且极不稳定，解决此问题的最好方法就是自己把mnist等数据集下载到本地，然后把download参数改为False，但此时仍然会报错！原因是没有在./MNIST/processed/目录下生成（.pt）文件。 torchvision加载mnist数据集的代码如下： train
Pytorch下载MNIST数据集缓慢（官网/网盘）
早睡早起
02-09 6586
解决Pytorch数据集如MNIST数据下载缓慢 数据是深度学习的魂，而在download数据集时，下载了一半就停滞不前…… 这时看你设置的下载目录，在MNIST里会有两个文件夹：processed和raw 打开raw能看到已经下载了的数据集。 其实MNIST数据集很小，直接访网站，手动下载数据集：http://yann.lecun.com/exdb/mnist/ 把下载的四个.gz文件复制到ra...
torch的CNN案例，mnist数据集下载缓慢的解决方案
qq_21210467的博客
08-04 5427
今天在看莫凡的torch教程，cnn案例。封装的函数不一样，所以第一次跑demo的时候需要下载数据集。 但是我发现，可能是由于网站的维护问题，是的数据集下载非常非常缓慢，难以忍受。所以在结合源码以及以前下载的matlab环境下使用的数据集。做了以下处理： 数据集： 另外先在目录下新建mnist文件夹，在mnist文件夹下再建raw和processed文件夹。 自己的电脑只是路径的不...
【已补蓝奏云链接】PyTorch中MNIST数据集（附datasets.MNIST离线包）下载慢/安装慢的解决方案
江南蜡笔小新
03-02 8213
一、问题背景 在学习MNIST数据集手写数字识别demo的时候，笔者碰到了一些问题，现记录如下： 1、必须先确保torchvision已经正确安。如何安装torchvision？请参考PyTorch/torchvision.datasets自带常用数据集【归纳】 二、解决方案 如果有梯子，直接挂梯子，没有可以参考下面的方案。 1、下载离线安装包 链接: https://pan.baidu.com/...
mnist数据集官网压缩包 解决下载过慢问题
08-19
└── MNIST ├── processed │ ├── test.pt │ └── training.pt └── raw ├── t10k-images-idx3-ubyte ├── t10k-labels-idx1-ubyte ├── train-images-idx3-ubyte └── train-...
基于Pytorch实现MNIST手写数字数据集识别（源码+数据）.rar
05-06
1、资源内容：基于Pytorch实现MNIST手写数字数据集识别（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集...
Pytorch使用MNIST数据集实现基础GAN和DCGAN详解
09-18
今天小编就为大家分享一篇Pytorch使用MNIST数据集实现基础GAN和DCGAN详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
详解PyTorch手写数字识别(MNIST数据集)
12-31
MNIST 手写数字识别是一个比较简单的入门项目，相当于深度学习中的 Hello World，可以让我们快速了解构建神经网络的大致过程。虽然网上的案例比较多，但还是要自己实现一遍。代码采用 PyTorch 1.0 编写并运行。 导入...
imdb数据集
01-08
原网址下载速度过慢，这里放到本地。imdb电影评分数据集，包含pkl和npz的格式
Pytorch日志2-对于pytorch下载数据集慢的解决方法
weixin_41666001的博客
11-21 920
Pytorch日志2-对于pytorch下载数据集慢的解决方法 这个问题很简单，只需要在项目下面新建一个data文件夹，然后将自己事先下载好的数据集放进去就好了，也不需要解压。 ...
【Pytorch】关于使用torchvision下载mnist数据集速度过慢的解决方案
ayayayayo的博客
08-05 1783
下载数据集之后，torchvision还会对数据集进行一些处理，将这些数据转换为.pt格式的文件，所以我们不能直接手动下载数据集然后放到相应的文件夹中，这会产生报错。 【解决方法】 手动下载好相应的数据集放到相应文件夹中 把自己电脑上已经下载好的数据集的文件路径放到浏览器的窗口，然后转到这个地址，就可以得到如下： 把源代码中的网址替换成本地的文件地址 即替换 为 运行程序出现以下字样即成功。 Processing… Done! 【总结】不仅仅是mnist数据集，其他数据集下载速度过.
使用torchvision下载外网数据集mnist没有进度的解决方案
york1996的博客
08-17 1万+
我试着使用torchvison下载mnist数据集，但是由于是外国的站点，相信不只是mnist数据集，其他的数据集也可能遇到下载不了或者下载速度很慢的情况。 但是呢，很多人已经从外国的网站下载过了，你再下载它们共享的资源就可以下载成功，接下来你可以手工的把下载好的数据集放到恰当的位置。你可能以为是万事大吉了，但是它会报错： RuntimeError: Dataset not found. Y...
Pytorch Torchvision MNIST 数据集 下载超时 无法下载
qq_37696924的博客
02-12 3177
Pytorch MNIST数据集下载不成功的几种解决方法： 1、多尝试几次，过了很久还是没下载好直接interrupt后再试试 2、早上网比较快，第二天早起再试试 3、每次下载如果不成功，已下载的部分不要删除，程序会直接使用，不会再重复下载了。这样每次下载一部分，多试几次之后，就可以全部下载完毕 4、如果还是不可以，直接从MNIST的官网下载 .gz 文件，将Pytorch中MNIST源代码中的u...
〖TensorFlow2.0笔记10〗关于数据集的加载,测试,实战+补充: 数据集下载慢的解决方法！
AI新视界
11-23 9320
数据集加载！ 文章目录一、数据的加载1.1、tensorflow.keras.datasets接口1.1.1、MNIST数据集1.1.2、cifar 10/100数据集 一、数据的加载 这节主要介绍一些比较小型的常用的数据集的加载。 1.1、tensorflow.keras.datasets接口 1.1.1、MNIST数据集 代码如下： import tensorflow as t...
Pytorch 读取和下载数据及其优化
weixin_42528089的博客
12-12 493
pytorch  采用此方式读取数据： torch.utils.data.DataLoader来定义一个新的迭代器 dataiter = DataLoader (myDataset, ba tch size=3 2, shuffle=True , collate fn=default collate) test_loader = torch.utils.data.DataLoader(da...
mnist数据集下载——mnist数据集提供百度网盘下载地址
热门推荐
bigcindy的博客
05-05 3万+
mnist数据集是由深度学习大神 LeCun等人制作完成的数据集，mnist数据集也常认为是深度学习的“ Hello World！”。 官网：http://yann.lecun.com/exdb/mnist/ mnist数据集由6万张训练数据和1万张测试数据组成。 官网提供下载，但由于是国外的服务器，下载速度很慢。这里提供百度网盘下载地址： 链接：https://pan.baid...
pytorch 使用lenet训练Mnist数据集的代码
最新发布
05-27
以下是用PyTorch实现LeNet模型并训练Mnist数据集的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim import torchvision.datasets as dsets import torchvision.transforms as transforms # 定义LeNet模型 class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 = nn.Conv2d(1, 6, 5) self.pool1 = nn.MaxPool2d(kernel_size=2) self.conv2 = nn.Conv2d(6, 16, 5) self.pool2 = nn.MaxPool2d(kernel_size=2) self.fc1 = nn.Linear(16*4*4, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool1(torch.relu(self.conv1(x))) x = self.pool2(torch.relu(self.conv2(x))) x = x.view(-1, 16*4*4) x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x # 设置超参数 batch_size = 100 learning_rate = 0.001 num_epochs = 5 # 加载Mnist数据集 train_dataset = dsets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True) test_dataset = dsets.MNIST(root='./data', train=False, transform=transforms.ToTensor(), download=True) # 创建数据加载器 train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False) # 创建LeNet模型和优化器 model = LeNet() optimizer = optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 total_step = len(train_loader) for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): images = images labels = labels # 前向传播 outputs = model(images) loss = nn.CrossEntropyLoss()(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() # 输出训练状态 if (i+1) % 100 == 0: print('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' .format(epoch+1, num_epochs, i+1, total_step, loss.item())) # 测试模型 model.eval() with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: images = images labels = labels outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Test Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total)) ``` 这个代码可以在Mnist数据集上训练LeNet模型，并在测试集上计算模型的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值