15.GPU加速、minist测试实战和visdom可视化

最新推荐文章于 2024-05-13 12:55:44 发布
最新推荐文章于 2024-05-13 12:55:44 发布
阅读量514 收藏 1
点赞数 1
分类专栏： pytorch 文章标签： 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44846755/article/details/125873537
版权

目录

GPU加速

把所有的设备cpu、cuda0、cuda1等，挣到一个设备上。
.cuda()方法会搬到GPU上
.to（）方法返回一个新的refoungs，是否一致取决于哪种类型数据。对一个模块使用，则模块整体更新。如果对一个tensor使用，结果不一样。data2=data.cuda()，此时data2和data不一样，会产生两个tensor，一个在cpu上一个在gpu上。

import  torch
import  torch.nn as nn
import  torch.nn.functional as F
import  torch.optim as optim
from    torchvision import datasets, transforms


batch_size=200
learning_rate=0.01
epochs=10

train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('mnist_data/', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.ToTensor(),
                       transforms.Normalize((0.1307,), (0.3081,))
                   ])),
    batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(
    datasets.MNIST('mnist_data/', train=False, transform=transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize((0.1307,), (0.3081,))
    ])),
    batch_size=batch_size, shuffle=True)






class MLP(nn.Module):

    def __init__(self):
        super(MLP, self).__init__()

        self.model = nn.Sequential(
            nn.Linear(784, 200),
            nn.LeakyReLU(inplace=True),
            nn.Linear(200, 200),
            nn.LeakyReLU(inplace=True),
            nn.Linear(200, 10),
            nn.LeakyReLU(inplace=True),
        )

    def forward(self, x):
        x = self.model(x)

        return x

device = torch.device('cuda:0')
net = MLP().to(device)
optimizer = optim.SGD(net.parameters(), lr=learning_rate)
criteon = nn.CrossEntropyLoss().to(device)

for epoch in range(epochs):

    for batch_idx, (data, target) in enumerate(train_loader):
        data = data.view(-1, 28*28)
        data, target = data.to(device), target.cuda()

        logits = net(data)
        loss = criteon(logits, target)

        optimizer.zero_grad()
        loss.backward()
        # print(w1.grad.norm(), w2.grad.norm())
        optimizer.step()

        if batch_idx % 100 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                       100. * batch_idx / len(train_loader), loss.item()))


    test_loss = 0
    correct = 0
    for data, target in test_loader:
        data = data.view(-1, 28 * 28)
        data, target = data.to(device), target.cuda()
        logits = net(data)
        test_loss += criteon(logits, target).item()

        pred = logits.data.max(1)[1]
        correct += pred.eq(target.data).sum()

    test_loss /= len(test_loader.dataset)
    print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
        test_loss, correct, len(test_loader.dataset),
        100. * correct / len(test_loader.dataset)))

net=MLP().to(device)，CrossEntropyLoss()，data,target=data.to(device),target.cuda()，使用.to()方法把网路搬到GPU上。

minist测试实战

不断train时，它可能会记住样本，此时效果会很好，但是一换其他样本就效果不佳。
对于每一张图片，对其可能是几的概率做softmax，并且做argmax（返回最大值所在索引），返回值即表明他是几。

logits=torch.rand(4,10)
pred=F.softmax(logits,dim=1)
print('pred shape:',pred.shape)

pred_lable=pred.argmax(dim=1)
print('pred_lable:',pred_lable)

print('logits.argmax:',logits.argmax(dim=1))

label=torch.tensor([9,3,2,4])
correct=torch.eq(pred_lable,label)
print('correct',correct)
accuracy=correct.sum().float().item()/4
print(accuracy)

我们得出[5,3,2,1]，假设真实是[9,3,2,4]，我们需要计算accuracy=2/4=50%。
计算正确的数量，使用eq()函数，如果元素相等返回1。
correct类型是unit8，我们需要使它变成float类型。
在这里插入图片描述

when to test

几个batch一个test
每个epoch一个test

vidsom可视化

visdom效率比tensorboard更高一点，因为后者会把数据写到文件中，导致监听文件占据大量空间。
visdom可以直接使用tensor。

使用visdom

1.install

首先进入anaconda prompt，在我们特定环境中输入pip install visdom
在这里插入图片描述

2.run server damon

开启监听进程，输入python -m visdom.server
visdom实际上是一个web服务器，开启后，程序向该服务器发送数据，服务器就会把数据渲染到网页上。运行前需要先开启该web服务器。
在这里插入图片描述
在这里插入图片描述

遇到问题
  1. pip unstall visdom
  2. 从官方网页上下载最新的代码，进入下载好的文件内，pip install -e .
  3. 退回去，开启监听进程
  4. 复制地址，打开浏览器

功能

lines：single trace

画一个曲线
首先创建一条直线，有x，y，且赋初始值，win可以理解为id，大窗口是一个environment。把窗口名字命名为train_loss，且只有一个点（0，0）

from visdom import Visdom
viz=Visdom()
viz.line([0.],[0.],win='train_loss',opts=dict(title='train loss'))
viz.line([loss.item()],[global_step],win='train_loss',update='append')

global_step是x作表，image可以直接接受tensor，对于直线类型，接受的是numpy数据，指定为append，添加到当前直线后面，如果不指定，会全部覆盖掉。

lines：single trace

多条曲线
两条直线，我们需要两个y。

from visdom import Visdom
viz=Visdom()
viz.line([[0.0,0.0]],[0.],win='test',opts=dict(title='test loss & acc',legend=['loss','acc']))
viz.line([[test_loss,correct/len(test_loader.dataset)]],
             [global_step],win='test',update='append')

完整代码

import  torch
import  torch.nn as nn
import  torch.nn.functional as F
import  torch.optim as optim
from    torchvision import datasets, transforms
from visdom import Visdom


batch_size=200
learning_rate=0.01
epochs=10

train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('mnist_data/', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.ToTensor(),
                       # transforms.Normalize((0.1307,), (0.3081,))
                   ])),
    batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(
    datasets.MNIST('mnist_data/', train=False, transform=transforms.Compose([
        transforms.ToTensor(),
        # transforms.Normalize((0.1307,), (0.3081,))
    ])),
    batch_size=batch_size, shuffle=True)



class MLP(nn.Module):

    def __init__(self):
        super(MLP, self).__init__()

        self.model = nn.Sequential(
            nn.Linear(784, 200),
            nn.LeakyReLU(inplace=True),
            nn.Linear(200, 200),
            nn.LeakyReLU(inplace=True),
            nn.Linear(200, 10),
            nn.LeakyReLU(inplace=True),
        )

    def forward(self, x):
        x = self.model(x)

        return x

device = torch.device('cuda:0')
net = MLP().to(device)
optimizer = optim.SGD(net.parameters(), lr=learning_rate)
criteon = nn.CrossEntropyLoss().to(device)

viz=Visdom()
viz.line([0.],[0.],win='train_loss',opts=dict(title='train loss'))
viz.line([[0.0,0.0]],[0.],win='test',opts=dict(title='test loss & acc',legend=['loss','acc']))

global_step=0

for epoch in range(epochs):

    for batch_idx, (data, target) in enumerate(train_loader):
        data = data.view(-1, 28*28)
        data, target = data.to(device), target.cuda()

        logits = net(data)
        loss = criteon(logits, target)

        optimizer.zero_grad()
        loss.backward()
        # print(w1.grad.norm(), w2.grad.norm())
        optimizer.step()

        global_step+=1
        viz.line([loss.item()],[global_step],win='train_loss',update='append')

        if batch_idx % 100 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                       100. * batch_idx / len(train_loader), loss.item()))


    test_loss = 0
    correct = 0
    for data, target in test_loader:
        data = data.view(-1, 28 * 28)
        data, target = data.to(device), target.cuda()
        logits = net(data)
        test_loss += criteon(logits, target).item()

        pred = logits.argmax(dim=1)
        correct += pred.eq(target).sum().float().item()

    viz.line([[test_loss,correct/len(test_loader.dataset)]],
             [global_step],win='test',update='append')
    viz.images(data.view(-1, 1, 28, 28), win='x')
    viz.text(str(pred.detach().cpu().numpy()),win='pred',
             opts=dict(title='pred'))

    test_loss /= len(test_loader.dataset)
    print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
        test_loss, correct, len(test_loader.dataset),
        100. * correct / len(test_loader.dataset)))

在这里插入图片描述

派大星的最爱海绵宝宝
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
恒源云(GPUSHARE)教程 | 云服务器训练如何使用Visdom？
weixin_39881439的博客
05-28 801
文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器训练平台，6活动ing，官方体验网址：https://gpushare.com/） 原文地址 |
minist-可视化图
06-03
可视化minist，包含训练集和测试集，训练集有60000张图，测试集有10000张图，每张大小为28*28。训练集和测试集以0-9区分10个类别。适用于需要在minist原图基础上继续研究，如图像增强，数据增强等。同时提供了一个...
Pytorch（三）：可视化工具(Tensorboard、Visdom）
Mike_honor的博客
07-26 3079
前言：在训练神经网络时，我们希望能够及时了解到网络训练过程中一些关键信息，包括损失曲线、验证集上的准确率以及输入图片各阶段特征的提取情况等，这些信息可以帮助我们掌控网络的整个训练过程。因此，为了更加直观地掌握网络训练过程的各种指标信息，将这些信息进行可视化是一个非常好的选择，下面本文将具体讲解Pytorch中提供的Tensorboard、Visdom这两种可视化工具。..................
基于滴滴云 GPU 实现简单 MINIST 手写识别
java060515的专栏
01-25 372
1. TensorFlow 与 MNIST TensorFlow 是谷歌于 2015 年 11 月 9 日正式开源的计算框架，可以很好地支持机器学习的各种算法，其灵活的架构可以在多种平台上展开计算，例如CPU或GPU台式机、服务器，移动设备等等。 MNIST 是机器学习领域的一个经典入门 Demo，数据集是由 6 万张训练图片和 1 万张测试图片构成，期望效果是让机器识别一系列大小为 28x28 ...
2024年PyTorch 手把手教你实现 MNIST 数据集_pytorch mnist(1)，字节大牛耗时八个月又一力作
最新发布
2301_79988566的博客
05-13 579
batch_size = 64 # 一次训练的样本数目learning_rate = 0.0001 # 学习率iteration_num = 5 # 迭代次数network = Model() # 实例化网络print(network) # 调试输出网络结构optimizer = torch.optim.Adam(network.parameters(), lr=learning_rate) # 优化器。
基于pycharm的detectron2的tensorboard使用
wt852561630的博客
03-06 2108
1.visdom与tensorboard的选择 tensorboard最早是针对TensorFlow进行可视化的工具，而pytorch没有可以进行可视化的工具。后来，有大牛针对pytorch的使用开发出了tensorboardx，其实就是让pytorch也可以使用tensorboard.而在detectron2中，是从torch.util.tensorboard中使用tensorboard.这好像是pytorch官方与tensorboard的合作。对于pytorch，这二者只是在引用时的路径不同，其他的都
PyTorch中常用的工具（4）Visdom
FontTian的博客
01-01 1205
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。由于内容较多，本文分成了五篇文章（1）数据处理（2）预训练模型（3）TensorBoard（4）Visdom（5）CUDA与小结。1 数据处理2 预训练模型3 可视化工具3.2 Visdom4 使用GPU加速：CUDA5 小结。
minist手写数字可视化数据集
07-02
minist可视化数据集是指以图片的方式存储minist手写数字的训练集和测试集。训练集与测试集下每个文件夹下将同一类型的数字存储于同一文件夹当中。其中，训练集共有60000张图片，测试集共有10000张图片。
minist_test.csv 和minist_train.csv和minist_train_100.csv和minist_te
03-16
标题中的"minist_test.csv 和minist_train.csv和minist_train_100.csv和minist_test_10.csv"指的是MNIST数据集的不同版本。MNIST（Modified National Institute of Standards and Technology）是一个广泛用于机器...
KNN.zip_MINIST_knn_手写字识别
09-15
它包含了60,000个训练样本和10,000个测试样本，每个样本都是28x28像素的灰度图像，代表了一个0到9的手写数字。MNIST因其规模适中、标注完整、易于理解而成为初学者入门图像识别和深度学习的首选数据集。 **MNIST与...
Keras对minist进行TB.py
05-29
在Kreas框架下编写了以minist数据集为对象的卷积神经网络CNN，在运行过程中保存了训练过程，采用tensorboard进行可视化，在tensorboard中可以采用T-sne进行降维，可以清楚的看到分类标签二维与三维的变化.
mnist手写数字识别（TensorFlow-GPU）-----------原理及代码
weixin_39121325的博客
05-21 7690
本文主要是对mnist手写数据集这中的迷糊数字进行识别，在Softmax Regression基础上建立了一个较为简单的机器学习模型。 通过这篇文章，可以对神经网络有一个大体的了解，还可以掌握简单的图像识别技术，本章的图片来源是于一个开源的训练数据集（mnist） 我们分以下几个部分来进行： 导入数据集。 分析mnist样本特点定义变量。 构建模型。 训练模型并输出中间状态参数。 测...
torch、tensorflow1 GPU测速代码python3（MNIST，简易版）
Zjhao666的博客
10-26 882
1、torch import torch import torch.nn as nn import torch.nn.functional as F import numpy as np import matplotlib.pyplot as plt from torch.autograd import Variable import time # print start time start = time.time() print("Start time = " + time.ctime()) #
可视化visdom在PyTorch中的使用
深圳湾刘能的博客
03-02 2985
相信大家在使用TensorFlow的时候都使用过它的可视化工具TensorBoard，这里给大家同样介绍一款PyTorch的可视化工具visdom，可以将我们训练过程中的数据可视化显示出来，更便于大家对于神经网络流程的理解与数据的分析。这里我们还是使用上一篇博客中讲到的手写数字识别MINIST数据集的例子。 首先我们需要安装可视化工具visdom，打开终端： pip install visdom ...
minist数据集训练与测试
weixin_61576710的博客
08-19 2226
1
TensorboardX和Visdom的使用
ironbrother的博客
02-17 4695
Tensorboard Tensorboard可视化用到pytorch的解决方案github链接 参考博客 tensorboardX支持的可视化类型： scalar, image, figure, histogram, audio, text, graph, onnx_graph, embedding, pr_curve and video summaries. 一些版本要求： requireme...
（1）pytorch 实现 minist手写数据集（cpu/gpu）版本
linzengmin的博客
10-07 2147
minist手写文字数据集是深度学习/机器学习的入门集数据集。通过搭建深度神经网络的方法对minist数据集进行训练和预测，可以对整个深度学习的框架做一个大概的了解。 cpu 版本，即数据和模型都在cpu（内存）上训练，不需要调用gpu。 # 训练+测试 import torch import torch.nn as nn import torch.utils.data as Data import torchvision import matplotlib.pyplot as plt import o
深度学习与PyTorch入门实战教程
01-30
亚洲排名第1的新加坡国立大学AI团队倾情打造，资深研究员龙龙老师主讲，帮助人工智能、深度学习初学者快速、深刻理解深度学习算法原理与实践。【莫烦老师】权威推荐：在教学中，龙龙老师以简短高效的方式，从深度学习的多个角度向我们展开了论述，非常适合想对深度学习有全方位了解的朋友。【PyTorch中文网】：讲解简单易懂、由浅入深，是一门值得推荐的课程。课程特色：1. 通俗易懂，快速入门对深度学习算法追本溯源、循序渐进式讲解，学员不需要任何机器学习基础，只需要写过代码即可轻松上手。2. 实用主导，简单高效使用新手最容易掌握的深度学习框架PyTorch实战，比起使用TensorFlow的课程难度降低了约50%，而且PyTorch是业界最灵活，最受好评的框架。3. 案例为师，实战护航基于计算机视觉和NLP领域的经典数据集，从零开始结合PyTorch与深度学习算法完成多个案例实战。4. 持续更新，永久有效一次购买，永久有效。深度学习课程会持续更新下去，内容和学术界最前沿算法保持同步。
可视化：tensorboar visdom wandb
芒果干的博客
01-28 1722
本文简要介绍三种常见的可视化库：tensorboard visdom以及wandb tensorboard 安装 tensorboard的安装很简单，如下所示，其中tensorboardX用于引入SummaryWriter类，tensorboard库用来运行最终的文件 pip install tensorboard pip install tensorboardX 基本使用 稍微复杂的是add_image函数，这里贴出使用链接 from tensorboardX import SummaryWriter
python利用MDS实现minist数据集的可视化
05-21
MDS（多维缩放）是一种非线性降维技术，用于将高维数据映射到二维或三维空间，以便进行可视化。在Python中，可以使用scikit-learn库中的MDS算法来实现这个过程。下面是一个简单的代码示例，使用MDS对MINIST数据集进行可视化： ```python # 导入必要的库 import numpy as np from sklearn.datasets import fetch_openml from sklearn.manifold import MDS import matplotlib.pyplot as plt # 加载MINIST数据集 mnist = fetch_openml('mnist_784', version=1, cache=True) # 将数据划分为特征和标签 X = mnist.data y = mnist.target # 初始化MDS模型 mds = MDS(n_components=2, random_state=42) # 对数据进行降维 X_mds = mds.fit_transform(X) # 绘制散点图 plt.scatter(X_mds[:, 0], X_mds[:, 1], c=y.astype(np.int), cmap=plt.cm.get_cmap('jet', 10)) plt.colorbar() plt.title('MDS visualization of MNIST dataset') plt.show() ``` 该代码首先从scikit-learn库中加载MINIST数据集，并将其划分为特征和标签。然后，使用MDS算法将数据降到二维空间，并使用散点图在二维空间中绘制数据点。每个数据点的颜色与其所属的数字类别相对应。最后，显示绘制的图形。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值