PyTorch学习笔记
文章平均质量分 87
没有灵魂的工具人
这个作者很懒,什么都没留下…
展开
-
PyTorch指数移动平均(EMA)手册
文章目录PyTorch指数移动平均(EMA)手册EMA的数学模型EMA的意义EMA的偏差修正EMA在测试阶段的优越性能PyTorch实现ReferencePyTorch指数移动平均(EMA)手册指数移动平均 —— Exponential Moving Average (a.k.a Exponentially Weighted Moving Average, EMA)指数移动平均EMA是用于估计变量的局部均值的,它可使变量的更新不只是取决于当前时刻的数据,而是加权平均了近期一段时间内的历史数据值,使得变原创 2021-02-01 22:52:46 · 4008 阅读 · 1 评论 -
PyTorch自动混合精度训练(AMP)手册
文章目录PyTorch自动混合精度训练(AMP)手册AutocastingGradient ScalingNotesAutocast Op Look-up-tableReferencePyTorch自动混合精度训练(AMP)手册自动混合精度 —— Automatic Mixed Precision, AMP混合精度训练是指在训练过程中,一些操作使用float32数据类型的单精度,一些操作(linear/conv)使用float16数据类型的半精度。而自动混合精度训练则是指,自动给每个操作匹配其合适的数原创 2021-01-31 23:59:20 · 4359 阅读 · 1 评论 -
随便聊聊torch.utils.tensorboard跟tensorboardX(待验证)
浅谈torch.utils.tensorboard跟tensorboardX1. 前言2. 分析2.1 tensorboardX2.2 torch.utils.tensorboard3. 结束语1. 前言相信有一部分小伙伴在使用PyTorch时跟我一样,PyTorch可用的数据可视化工具TensorBoard有两种可用的方法,torch.utils.tensorboard和tensorboardX,他们之前到底有什么区别跟联系?为什么官方有TensoBoard的接口,还会有tensorboardX的存在原创 2020-07-03 17:52:35 · 9458 阅读 · 2 评论 -
PyTorch使用datasets.ImageFolder加载ImageNet数据集及数据集相关处理
PyTorch使用datasets.ImageFolder加载ImageNet数据集及数据集相关处理1. 前言2. ImageNet数据集处理2.1 数据下载 (ILSVRC-2012)1. 前言Large Scale Visual Recognition Challenge (ILSVRC),大尺度视觉识别挑战是用于评估用于大尺度目标检测与目标分类的算法的一个大型图像竞赛。其数据集就是我们常说的ImageNet数据集,包括1000个类别共1281167张带注释(标签)的训练集图片,50000张验证集图原创 2020-05-20 11:50:30 · 18190 阅读 · 26 评论 -
网络训练高效内存管理——torch.utils.checkpoint的使用
网络训练高效内存管理——torch.utils.checkpoint的使用前言torch.utils.checkpoint1. PyTorch文档中的说明2. checkpoint函数的框架3. checkpoint函数解析4. 实例解读5. 总结6. 相关警告参考文献前言今天这篇文章主要是想记录一下在复现DenseNet时,看到PyTorch源码中有个memory_efficient的参数及...原创 2020-04-05 13:46:24 · 13053 阅读 · 2 评论 -
torch中manual_seed的作用
torch.manual_seed(seed) – 官方文档说明:设置 (CPU) 生成随机数的种子,并返回一个torch.Generator对象。设置种子的意思是一旦固定种子,每次生成随机数都将从这个种子开始搜寻。通过代码说明一下:import torchrandom_seed = 123torch.manual_seed(random_seed)print(torch.rand(...原创 2020-03-06 23:42:20 · 17040 阅读 · 3 评论 -
浅谈PyTorch/Numpy中view和copy/clone的区别
前言学习完 深浅拷贝的区别 (之前写的文章)后,就继续来看看在PyTorch/Numpy中view与copy有什么区别。由于PyTorch是类似于Numpy的可用于GPU加速的计算库,在很多api或概念上都是基本一致的,因此本文对于view和copy的对比分析对两个库都是适用的。传送门:图文代码浅谈Python中Shallow Copy(浅拷贝)和Deep Copy(深拷贝)的区别Vie...原创 2020-02-15 16:00:52 · 2752 阅读 · 0 评论 -
图文代码浅谈Python中Shallow Copy(浅拷贝)和Deep Copy(深拷贝)的区别
前言以前大概了解过一下<深浅拷贝>的区别,不过没有太深入了解,写这篇文章是因为在学习PyTorch时想搞懂view的含义,而view似乎是跟 浅拷贝(Shallow Copy) 有关的,所以就想先搞懂浅拷贝与 深拷贝(Deep Copy) 的区别先。这篇文章是根据Python内置的copy模块的官方说明,以及一些在Stack Overflow上的解释,加上自己的一些理解,画图并总结...原创 2020-02-14 23:51:50 · 1239 阅读 · 0 评论 -
PyTorch中.view()与.reshape()方法的对比(还有.resize_()方法的一些说明)
torch.Tensor.reshape() VS torch.Tensor.view()相同点:从功能上来看,它们的作用是相同的,都是将原张量元素(按顺序)重组为新的shape。区别在于:.view()方法只能改变连续的(contiguous)张量,否则需要先调用.contiguous()方法,而.reshape()方法不受此限制;.view()方法返回的张量与原张量共享基础数据(...原创 2020-02-13 18:36:05 · 6459 阅读 · 1 评论