Pytorch
文章平均质量分 56
贱贱的剑
计算机专业硕士研究生、操作系统与Linux内核开发,应用开发,喜欢研究Linux系统的各种疑难杂症。。。
展开
-
pytorch加载模型出现错误解决
pytorch加载模型的"no attribute copy"错误解决原创 2021-12-16 16:54:45 · 2479 阅读 · 0 评论 -
tensorrt的view以及../builder/Network.cpp::addPoolingNd问题解决
一、问题 在项目中对某些项目进行tensorrt加速的时候发现会报如下的错误。 上述错误大概是说view输入参数大小是512x7x7的,输出的参数大小确是512x36的,如此造成了输入输出规格不同。但是这在实际的代码中打断点调试根本看不出来,必须深入到tensorrt代码去查。二、问题排查打开tensorrt源码中的view.py文件查看并将输入输出的数据进行原创 2021-09-30 11:11:23 · 504 阅读 · 0 评论 -
tensorrt遇到torch.bmm的解决
一、问题说明使用tensorrt进行加速的时候,遇到需要自已定义torch.bmm进行替换。二、打到安装torch2trt所在目录,例如我的在opt/conda/lib/python3.7/site-packages/torch2trt-0.3.0-py3.7-linux-x86_64.egg/原创 2021-09-28 11:57:54 · 877 阅读 · 0 评论 -
如何打印Pytorch中Sequential包装的中间层的大小
题目引入为了方便,我们用Sequential定义一个卷积神经网络中,例如 self.fc = nn.Sequential( nn.Upsample(scale_factor=2,mode='nearest'), nn.Conv2d(512,512,3,1,1,bias=False), nn.BatchNorm2d(512), nn.ReLU(True), …………那么我们如何查看诸如nn.Conv.原创 2021-04-21 12:05:38 · 1207 阅读 · 2 评论 -
如何使用vscode调试pytorch的DistributedDataParallel代码
一、查找launch.py使用代码find / -name launch.py | grep distributed得到的结果如下这里我们得到了两个结果,看目录名第二个launch.py应该在软件的解压缩包里,因此这里使用第一个,记下这个绝对路径。二、修改launch.json修改默认的launch.json文件(没有就新建),一般来说我们使用下面这个配置文件。{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解原创 2021-04-18 16:58:38 · 1169 阅读 · 0 评论 -
如何一次缓存所有的数据集到内存中
如果我们有相当大的内存,例如1T,所以就可以把整个数据集一次性全部加载到内存中。可大大的节约时间增加效率。下面的num_workers在第一次加载的时候必须为0。import torchfrom torch.utils.data import Dataset, DataLoaderclass MyDataset(Dataset): def __init__(self, use_cache=False): self.data = torch.randn(100, 1)原创 2021-04-16 21:53:53 · 1796 阅读 · 0 评论 -
如何打印Pytorch在网络中的梯度值
一、神经网络初始化我喜欢在网络的构造函数中进行。比如import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimclass Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Sequential(原创 2021-04-16 21:21:16 · 9211 阅读 · 10 评论 -
Pytorch分布式编程
当我们拥有多块显卡时,可以使用并行计算来加速,Pytorch并行计算总要用DataParallel和DistributedDataParallel两种,前者主要应用于单机多卡的情况,而后者可以应用于单机多卡和多机多卡。由于作者资源有限,因此只能用单机多卡来做总结。这里有详细的并行计算说明。下面这张官方截图也详细说明了为什么DistributedDataParallel优于DataParallel。一、使用DataParallel参考文档:https://pytorch.org/tutorials原创 2021-04-11 11:23:53 · 1022 阅读 · 0 评论 -
deep learning笔记:学习率衰减与批归一化
文章出处:https://gsy00517.github.io/deep-learning20191001151454/ 一段时间之前,在一个深度学习交流群里看到一个群友发问:为什么他的训练误差最后疯狂上下抖动而不是一直降低。作为一个很萌的萌新,我当时也很疑惑。但后来我结合所学,仔细思考之后,发现这是一个挺容易犯的错误References:电子文献:https://blog.csdn.net/bestrivern/article/details/86301619https://w...转载 2021-03-22 21:57:34 · 593 阅读 · 0 评论