Pytorch深度学习
Pytorch深度学习
Dr. 卷心菜
PhD在读|音频信号处理|机器学习|音乐信号处理
展开
-
Pytorch模型输出梯度为None|如何输出GRL模型的梯度
如何查看模型输出梯度原创 2022-10-26 11:31:00 · 1991 阅读 · 0 评论 -
Pytorch报错 CUDA error: device-side assert triggered
错误信息:RuntimeError: CUDA error: device-side assert triggered/pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [1,0,0] Assertion `t >= 0 && t < n_classes` failed./pytorch/a原创 2020-12-29 15:22:39 · 5263 阅读 · 0 评论 -
解决方案总结RuntimeError: CUDA error: out of memory
在训练过程中有时会出现显卡爆了的情况,导致无法进行训练,本文总结一下出现这种情况该如何处理。1. 方法一:减小batch size减小batch size是最直接方法,有人做过对比:batch size是48的时候,GPU使用量为14.4G,batch size=1的时候就变成1.3G了。2. 方法二:修改网络结构修改隐层节点数,尽量让linear层的结点数变小加dropout,pooling检查有迭代的地方的迭代深度,迭代深度大也会增加GPU使用3. 方法三:清掉GPU中不用的进程原创 2020-12-25 17:04:54 · 2726 阅读 · 0 评论 -
Pytorch多GPU训练提升效率
文章目录查看GPU个数Dataloader 并行Trainer 并行在使用pytorch lightning框架训练的时候,遇到了如下的warning:UserWarning: Dataloader(num_workers>0) and ddp_spawn do not mix well! Your performance might suffer dramatically. Please consider setting distributed_backend=ddp to use num_原创 2020-12-04 15:42:36 · 3342 阅读 · 0 评论 -
【论文笔记】对比学习(Contrastive Learning)音频表示框架(COLA)
文章目录对比学习 Contrastive LearningContrastive Learning在CV领域风生水起,涌现了一批非常优秀的成果,例如:针对ImageNet有Google的SIMCLR, Facebook的MoCo, 和强化学习的CURL。在音频领域却少有研究。最近Google发了一篇文章,讲述了通过对比学习到音频的通用表达。Contrastive Learning of General-Purpose Audio Representations对比学习 Contrastive Lea原创 2020-11-24 22:07:33 · 1947 阅读 · 0 评论 -
Pytorch踩坑: RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0.
报错信息:RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got 186 and 200 in dimension 3 at /pytorch/aten/src/TH/generic/THTensorMoreMath.cpp:1307错误原因:网络要求输入的featuremap大小一样,实际输入Tensor的大小不一样,我的错误中是第3位tensor有的大小是186,有的大小是20原创 2020-07-31 14:48:23 · 9335 阅读 · 4 评论 -
Pytorch踩坑:CrossEntropyLoss不支持one-hot label 报错:RuntimeError: multi-target not supported
报错:RuntimeError: multi-target not supported at /pytorch/aten/src/THCUNN/generic/ClassNLLCriterion.cu:15原因:使用nn.CrossEntropyLoss时,label必须是[0, #classes] 区间的一个数字,而不可以是one-hot encoded 目标向量当你的l...原创 2020-05-03 15:54:43 · 3953 阅读 · 2 评论 -
Pytorch踩坑:RuntimeError: cuda runtime error (59) : device-side assert triggered at /home/tv/pytorch
PyTorch 的即时执行模型的美妙之处在于可以实际调试程序。但是,有时 CUDA 执行的异步特性使调试变得困难。下面是调试程序的一个小技巧。当使用 CUDA 操作运行 PyTorch 程序时,程序通常不会等到计算完成,而是继续向 GPU 投掷指令,直到它需要实际结果(例如,使用 .item() 或 .cpu() 或打印进行评估)。虽然这种行为是PyTorch程序性能极快的关键,但有一个缺点:...原创 2020-04-05 17:38:14 · 4196 阅读 · 0 评论 -
Pytorch 踩坑: TypeError: can‘t convert np.ndarray of type numpy.object_.The only supported types are:
问题描述:当把np转换成torch tensor时,trainx = torch.from_numpy(np.reshape(train_x, newshape=(-1,25)))报错:TypeError: can’t convert np.ndarray of type numpy.object_. The only supported types are: float64, float...原创 2020-01-08 14:41:35 · 71317 阅读 · 9 评论 -
PyTorch学习之路(五)Tensor操作及其常用函数
目录创建tensor新建tensor的方法表格t.tensor和t.Tensor的区别基本操作tensor 大小: t.size(), t.shape()转为list: t.tolist()tensor中元素总个数: t.numel()调整形状 t.view(), t.resize()增减维度 t.squeeze(), t.unsqueeze()?索引操作数学运算in place操作(是否修改自...原创 2019-11-18 17:48:21 · 4884 阅读 · 0 评论 -
PyTorch学习之路(四)CIFAR-10用LeNet实现图片分类(含代码)
实现对CIFAR-10数据集的分类的步骤如下:使用torchvision加载并预处理CIFAR-10数据集定义网络定义损失函数和优化器训练网络并更新网络参数测试网络全部实现代码如下:import torch as timport torchvision as tvimport torchvision.transforms as transformsfrom torchvis...原创 2019-11-13 21:27:33 · 886 阅读 · 0 评论 -
PyTorch学习之路(三)写一个完整的神经网络要知道什么
速查表Tensor及其基本操作Tensor及其基本操作Tensor是PyTorch中重要的数据结构,可认为是一个高维数组。它与数组的不同之处在于可以用GPU加速。例子:import torch as tx = t.Tensor(5, 3)x = t.Tensor([[1,2],[3,4]])x = t.rand(5, 3) 与numpy的转换a = t.ones(5) # ...原创 2019-11-13 14:45:29 · 804 阅读 · 0 评论 -
PyTorch学习之路(二)《深度学习框架PyTorch:入门与实践》使用指南
子曰:“每个小白开始自学时做的第一件事情就是上CSDN,知乎搜索“PyTorch入门教程”之类,在一堆眼花缭乱的推荐中迷失。忘记自己的初心是学PyTorch,而不是做各种教程的测评。所以,上手最快的方法就是拿到一个靠谱的教程或者博客立刻马上开始码代码。”我选的书是《深度学习框架PyTorch:入门与实践》,有以下优点:github上有对应的代码,比较容易入手。书有两部分,一半基础概念,...原创 2019-11-12 14:13:41 · 541 阅读 · 1 评论 -
PyTorch学习之路(一)从零开始安装PyTorch
在本地安装pytorch官方文档: link目录PrerequisitesPrerequisites原创 2019-11-12 13:38:08 · 1538 阅读 · 0 评论