PyTorch常用小工具-Tensorboard、Summary、Profiler

已于 2023-03-31 10:54:56 修改
阅读量415 收藏
点赞数
分类专栏： 深度学习 论文格式必会的那些技能 传统/深度三维重建MVS系列 文章标签： pytorch 深度学习 计算机视觉
于 2022-11-02 18:13:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51233386/article/details/127655593
版权
本文介绍了PyTorch中用于可视化的Tensorboard工具，详细阐述了如何安装和使用Tensorboard进行模型可视化。同时，讲解了summary库计算模型参数个数的方法，并通过实战例子展示了其应用。此外，文章还探讨了profiler工具，用于分析模型在GPU和CPU上的运行时间，提供了一种有效定位性能瓶颈的方法。最后，对比了eval.py和eval_2.py两个评估脚本的差异。
摘要由CSDN通过智能技术生成

1 PyTorch可视化工具-Tensorboard

PyTorch可视化工具-Tensorboard教程

2 summary计算每层参数个数

2.1 安装与使用

pip install torchsummary
#使用
from torchsummary import summary
summary(your_model, input_size=(channels,
了解本专栏 订阅专栏 解锁全文 超级会员免费看
R-G-B
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
pytorch性能分析工具Profiler
@bangbang的博客
04-12 3135
PyTorch Profiler 是一个开源工具，可以对大规模深度学习模型进行准确高效的性能分析。分析model的GPU、CPU的使用率各种算子op的时间消耗trace网络在pipeline的CPU和GPU的使用情况Profiler利用可视化模型的性能，帮助发现模型的瓶颈，比如CPU占用达到80%，说明影响网络的性能主要是CPU，而不是GPU在模型的推理，各种kernel的运算的消耗。
pytorch-tools:PyTorch的工具箱
03-10
火炬工具 用于快速原型制作的PyTorch工具箱。 概述 - 像模型教练一样 -收集不同的损失函数。 -集合。 -分类模型动物园。 -细分模型动物园 -用于轻松增加测试时间的包装器 安装 需要已安装的GPU驱动程序和CUDA。 pip install git+https://github.com/bonlime/pytorch-tools.git@master 还建议安装NVIDIA Apex，以允许使用其他优化器 pip install ---upgrade -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" git+https://github.com/NVIDIA/apex.git
Pytorch profiler with tensorboard.
等待戈多的博客
02-27 7700
文章目录前言：你将学到什么？一、准备数据集和模型二、使用profiler来记录执行的事件三、执行profiler四、使用TensorBoard来观察结果并对模型性能做出分析最后：总结 前言：你将学到什么？ 注意：以下所有的内容均来自pytorch官网，建议想了解profiler的同学可以直接上官网查询。 这篇教程针对的是PyTorch1.8+以上版本新更新的profiler API，目的是实时记录电脑CPU和GPU的工作情况，以更好的提升模型的性能，解决模型遇到的瓶颈。 通过这篇教程，你将学到如何利用Ten
【pytorch】pytorch入门2：pytorch内置的小工具
最新发布
tsumikistep的博客
07-14 143
提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加。
Python-PyTorch便捷工具库
08-09
PyTorch便捷工具库
【PyTorch】使用Torch自带的工具进行性能分析
墨门
09-24 6779
Keywords: Flame FlameGraph Torch.autograd.profiler;
MVSNet-pytorch版 源码 MVSNet-pytorch-master
08-27
MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-masterMVSNet_pytorch版 源码 ...
pytorch3d-0.7.1-py37-cu116-pyt1121.tar.bz2
09-19
pytorch3d-0.7.1-py37_cu116_pyt1121.tar.bz2
Pytorch-pytorch深度学习教程之Tensorboard.zip
05-22
在PyTorch中，Tensorboard是一个非常有用的工具，它源自TensorFlow，但也可以与PyTorch无缝集成，用于可视化和调试深度学习模型。这个压缩包文件"Pytorch_pytorch深度学习教程之Tensorboard.zip"很可能包含一系列...
利用pytorch实现对CIFAR-10数据集的分类
09-18
在教程中还提及了运行环境，需要安装Python 3.6.3、PyCharm、PyTorch 0.3.0等工具，并给出了代码示例，包括如何加载数据集、定义网络结构、设置损失函数和优化器，以及如何可视化图像和训练过程中的输出。...
Python库 | pytorch3d-0.6.1-cp39-cp39-macosx_10_9_x86_64.whl
02-19
总结，PyTorch3D是3D深度学习领域的强大工具，它结合了PyTorch的灵活性和3D处理的专有功能，为研究人员和开发者提供了在各种场景下探索3D数据的强大平台。通过使用这个库，我们可以构建更先进的人工智能和深度学习...
PyProf:适用于PyTorch模型的GPU性能分析工具
05-13
PyProf-PyTorch分析工具 公告：PyProf的默认分支已更改为“ main”。 请相应地更新所有拉取和PR。 最新发布：您当前正在开发主分支，该分支跟踪开发进度到下一个发行版。 PyProf的最新版本是3.10.0，可在分支上。 PyProf是用于分析和分析PyTorch模型的GPU性能的工具。 PyProf汇总了或内核性能，并提供以下附加功能： 标识启动内核的层：例如，ComputeOffsetsKernel与具体的PyTorch层或API的关联不明显。 确定张量尺寸和精度：在不知道张量尺寸和精度的情况下，不可能推断出实际（硅）内核时间是否接近GPU上此类内核的最大性能。 了解了张量尺寸和精度后，我们可以找出层所需的FLOP和带宽，然后确定内核对该操作的最大性能有多接近。 前向-后向相关性：PyProf确定导致特定权重和数据梯度（wgrad，dgrad）的正向传递步
系统调优助手，PyTorch Profiler TensorBoard 插件教程
I good vegetable a!
04-16 2641
使用PyTorch Profiler进行性能分析已经一段时间了，毕竟是PyTorch提供的原生profile工具，个人感觉做系统性能分析时感觉比Nsys更方便一些，并且画的图也比较直观。
Pytorch Profiler+ Tensorboard + VS Code
weixin_42930699的博客
06-20 2240
Pytorch Profiler+ Tensorboard + VS Code
在pytorch中使用Tensorboard
a573233077的专栏
12-06 1791
在pytorch中使用Tensorboard
pt-mysql-summary_pt-summary pt-mysql-summary工具
weixin_35046650的博客
01-27 145
2个percona的工具还真挺好用的。pt-summary# Percona Toolkit System Summary Report ######################Date | 2014-01-25 02:21:40 UTC (local TZ: CST +0800)Hostname |Uptime | 58 days, 9:52, 1 user, load average...
【pytorch】TensorBoard使用
epic_Lin的博客
10-24 3126
超级厉害的中文官方教程：https://pytorch.apachecn.org/#/docs/1.7/54 1、下载配置TensorBoard 官网教程的两个要安装的包 pip install torch torchvision pip install torch_tb_profiler 目前用的多的是 from torch.utils.tensorboard import SummaryWriter 2、SummaryWriter使用 画表格： from torch.utils.t
Pytorch中的常用工具
JiangCaifu的博客
05-17 929
1.定义自己的数据集 #1.处理数据，定义自己的数据集 import torch as t from torch.utils import data import os from PIL import Image import numpy as np class DogCat(data.Dataset): def __init__(self,root): imgs=os...
Pytorch----模型性能研究工具
XianxinMao的博客
11-08 699
Pytorch torchstat torchstat: The Pytorch Model Analyzer This is a lightweight neural network analyzer based on Pytorch. It is designed to make building your networks quick and easy, with the ability to debug them. This tools can show: Total number of netw
loss曲线 pytorch_PyTorch下的Tensorboard 使用
06-08
好的，我可以为您解答这个问题。在PyTorch中，可以使用Tensorboard来可视化训练过程中的loss曲线。以下是一些使用Tensorboard的步骤： 1. 安装Tensorboard: ```python pip install tensorboard ``` 2. 在PyTorch中导入Tensorboard: ```python from torch.utils.tensorboard import SummaryWriter ``` 3. 创建一个SummaryWriter对象: ```python writer = SummaryWriter(log_dir='logs') ``` 4. 在训练过程中，将loss写入到tensorboard中: ```python for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): # 前向传播、反向传播等操作 # 计算loss loss = ... # 将loss写入tensorboard writer.add_scalar('train_loss', loss, epoch * len(train_loader) + i) ``` 5. 运行Tensorboard: ```python tensorboard --logdir=logs ``` 6. 打开浏览器，在地址栏输入http://localhost:6006/，进入Tensorboard可视化界面。 在Tensorboard上，您可以查看loss曲线、学习率曲线等。希望这个回答对您有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

R-G-B

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值