Pytorch
文章平均质量分 74
ChaoFeiLi
这个作者很懒,什么都没留下…
展开
-
PyTorch指定GPU(很受欢迎)
PyTorch指定GPU(最受欢迎)原创 2022-08-26 12:31:10 · 7354 阅读 · 2 评论 -
Pytorch轻量级可视化工具wandb(local)
Pytorch轻量级可视化工具wandb(免翻墙版) - 知乎本文主要介绍的是wandb开源的local版本,按照wandb的官方文档快速将wandb的服务迁移到自己的云服务器上。1、环境要求dockerpython32、操作步骤首先用pip安装wandb包 pip install wandb执行shell命令# 这个ip需要是你公网的ip地址,也可以是本地的ipdiwandb local -e HOST=http://xxx.xxx.xxx.xxx:8080转载 2022-05-24 18:55:36 · 1835 阅读 · 0 评论 -
模型inference加速之融合Conv层与BN层
参考链接:https://nenadmarkus.com/p/fusing-batchnorm-and-conv/https://zhuanlan.zhihu.com/p/94138640暂时先不看def fuse_conv_and_bn(conv, bn): # # init fusedconv = torch.nn.Conv2d( conv.in_channels, conv.out_channels, kernel_size=conv.kernel_size, strid原创 2022-05-19 15:18:02 · 202 阅读 · 0 评论 -
详细解读nn.BatchNorm2d——批量标准化操作
参考链接:完全解读BatchNorm2d归一化算法原理_机器学习算法那些事的博客-CSDN博客nn.BatchNorm2d——批量标准化操作解读_视觉萌新、的博客-CSDN博客_batchnormal2d写着一篇博客的目的是为了彻底弄清楚里面具体是怎么计算的,同时也是因为有了太多的博客并没有深入理解,所以特地写一篇博客记录一下。也为了防止后来者脑壳疼。如果有用的话,请记得点赞+关注哦一、参数解读torch.nn.BatchNorm2d(num_features, eps=1e-05, mo原创 2022-05-18 17:42:49 · 42471 阅读 · 5 评论 -
minitorch系列记录——1. 环境安装和机器学习基础
网页主页:https://minitorch.github.io/index.htmlgithub项目地址:https://github.com/minitorch是2020年cornell大学的一门课程,课程链接:https://canvas.cornell.edu/courses/20583/assignments/syllabus讲师介绍:http://rush-nlp.com/这是一个大学课程的课后作业项目,一共就:Setup(安装环境)ML Primer ( 机器学习基础知识复原创 2022-05-13 21:51:19 · 1893 阅读 · 0 评论 -
Pytorch的自定义拓展:torch.nn.Module和torch.autograd.Function
参考链接:pytorch的自定义拓展之(一)——torch.nn.Module和torch.autograd.Function_LoveMIss-Y的博客-CSDN博客_pytorch自定义backward前言:pytorch的灵活性体现在它可以任意拓展我们所需要的内容,前面讲过的自定义模型、自定义层、自定义激活函数、自定义损失函数都属于pytorch的拓展,这里有三个重要的概念需要事先明确。要实现自定义拓展,有两种方式,(1)方式一:通过继承torch.nn.Module类来实现拓展。这也是我们前面的例子原创 2022-04-29 20:05:50 · 4023 阅读 · 2 评论 -
解决pip下载速度太慢
参考链接:解决pip下载速度太慢_风筝相信线的博客-CSDN博客_pip下载太慢个人经历:我在尝试了各种添加源(~/.condarc),然后更新的时候,各种出错,比如conda not found 啥的。以下命令根本不用用,不要想了,醒醒吧。 conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls ye.原创 2022-04-25 18:54:53 · 1924 阅读 · 1 评论 -
Pytorch 中损失函数详解
参考链接:详解torch.nn.NLLLOSS - 知乎分类问题的损失函数中,经常会遇到torch.nn.NLLLOSS。torch.nn.NLLLOSS通常不被独立当作损失函数,而需要和softmax、log等运算组合当作损失函数。 torch.nn.NLLLOSS官方链接: NLLLoss - PyTorch 1.9.0 documentat…https://zhuanlan.zhihu.com/p/383044774一、torch.nn.NLLLOSS运算规则from torch impor转载 2022-04-16 14:41:24 · 730 阅读 · 0 评论 -
PyTorch Cookbook(常用代码段整理合集)
参考:https://zhuanlan.zhihu.com/p/104019160本文是PyTorch常用代码段合集,涵盖基本配置、张量处理、模型定义与操作、数据处理、模型训练与测试等5个方面,还给出了多个值得注意的Tips,内容非常全面。PyTorch最好的资料是官方文档。本文是PyTorch常用代码段,在参考资料[1](张皓:PyTorch Cookbook)的基础上做了一些修补,方便使用时查阅。1. 基本配置导入包和版本查询import torchimport torch.nn转载 2022-04-14 15:38:33 · 205 阅读 · 0 评论 -
PyTorch-超全的网络创建,显示,预训练模型的加载
参考链接:https://www.cnblogs.com/wangguchangqing/p/11058525.html本文是PyTorch使用过程中的的一些总结,有以下内容:构建网络模型的方法 网络层的遍历 各层参数的遍历 模型的保存与加载 从预训练模型为网络参数赋值主要涉及到以下函数的使用:add_module,ModulesList,Sequential 模型创建 modules(),named_modules(),children(),named_children() 访问模转载 2022-01-06 11:28:16 · 587 阅读 · 0 评论 -
Python 日志 logging模块(详细解析)
参考链接:https://www.cnblogs.com/wf-linux/archive/2018/08/01/9400354.htmlhttps://blog.csdn.net/pansaky/article/details/90710751参数:作用 %(levelno)s:打印日志级别的数值%(levelname)s:打印日志级别的名称%(pathname)s:打印当前执行程序的路径,其实就是sys.argv[0]%(filename)s:打印当前执行程序名%(fu.原创 2021-09-17 14:20:47 · 115 阅读 · 4 评论 -
Pytorch模型加载函数torch.load()
参考链接:https://blog.csdn.net/pearl8899/article/details/109566084因为大家经常在GPU上训练,而模型加载测试都是直接在CPU中,所以大家一定要搞清楚下面说明。1.作用:用来加载torch.save()保存的模型文件。torch.load()先在CPU上加载,不会依赖于保存模型的设备。如果加载失败,可能是因为没有包含某些设备,比如你在gpu上训练保存的模型,而在cpu上加载,可能会报错,此时,需要使用map_location来将存储动态重.原创 2021-05-09 14:57:10 · 1957 阅读 · 0 评论 -
RuntimeError: dictionary changed size during iteration 解决办法
参考链接:https://blog.csdn.net/u013344884/article/details/81867225这个是真的解决问题了问题细说:发现用forin迭代的时候是用迭代器的, (或许是个链表?), 不能在迭代的时候添加或删除属性,只能更改属性值.我想了想,解决办法有两种,一种是把字典转为列表,然后再增删;或者我不遍历字典,只遍历字典的属性名,那么就避开了这个问题.根据需要,我选择了后面一种, 我是这么干的在字典遍历过程中修改字典元素,报错Ru...转载 2021-03-31 20:21:11 · 556 阅读 · 0 评论 -
torch.nn.Conv1d及一维卷积详解
最近在用一维卷积做分类,所以看了一维卷积的API和各种博客。主要的参考博客是(两个博客综合起来看很不错):https://blog.csdn.net/qq_36323559/article/details/102937606https://blog.csdn.net/sunny_xsc1994/article/details/82969867Conv1class torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=原创 2021-02-02 11:04:45 · 4558 阅读 · 3 评论 -
让PyTorch训练速度更快,你需要掌握这17种方法
参考链接:https://mp.weixin.qq.com/s/hvlr098BxWOf6C8zO0UvYg1. 考虑换一种学习率 schedule学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using La转载 2021-01-17 12:39:26 · 806 阅读 · 0 评论 -
keras输出中间层结果,某一层的权重、偏置
参考链接:https://blog.csdn.net/hahajinbu/article/details/77982721#获得某一层的权重和偏置weight_Dense_1,bias_Dense_1 = model.get_layer('Dense_1').get_weights()print(weight_Dense_1.shape)print(bias_Dense_1.shape)原创 2020-12-14 15:52:09 · 1312 阅读 · 0 评论 -
pytorch——冻结某层参数
参考链接:https://blog.csdn.net/qq_41368074/article/details/107860126https://blog.csdn.net/Code_Mart/article/details/88254444首先,我们知道,深度学习网络中的参数是通过计算梯度,在反向传播进行更新的,从而能得到一个优秀的参数,但是有的时候,我们想固定其中的某些层的参数不参与反向传播。比如说,进行微调时,我们想固定已经加载预训练模型的参数部分,指向更新最后一层的分类器,这时应该怎么做呢原创 2020-12-11 11:36:05 · 6223 阅读 · 3 评论 -
GAN及其相关模型训练细节总结
https://blog.csdn.net/qq_40128284/article/details/109445844https://cloud.tencent.com/developer/article/1430237https://www.sohu.com/a/272494057_473283https://www.cnblogs.com/wanghui-garcia/p/12781438.html原创 2020-11-30 16:00:40 · 304 阅读 · 0 评论 -
Pytorch中的train和eval用法注意点
参考链接:https://blog.csdn.net/sinat_36618660/article/details/100147506https://blog.csdn.net/u013289254/article/details/103621792(一)、model.train()和model.eval()分别在训练和测试,作用:(1). model.train()启用 BatchNormalization 和 Dropout,将BatchNormalization和Dropout置为Tru原创 2020-11-30 15:33:44 · 666 阅读 · 0 评论 -
NAS-based on cell DARTS
很多人工设计的神经结构是由重复的结构单元组成的,例如:ResNet结构由多个残差单元组成,GoogLeNet结构由 Inception 结构单元组成。由此启发,NAS 算法通过搜索结构单元(cell)来替代搜索整个神经结构。NASNet提出了基于cell结构的搜索空间。在这种搜索空间中,NAS算法搜索2种类型的cell,一种为normal cell,另一种为reduction cell。normal cell的输出和输入尺寸保持一致,而reduction cell的输出尺寸是输入尺寸的一半。在搜索完 ce.原创 2020-11-20 10:41:01 · 840 阅读 · 0 评论 -
multi-label多标签准确率的计算方法
sigmoid得到结果之后与正确答案进行点乘操作然后再叠加就是最后的加权准确率比如正确标签是[0 1 1 0], 预测结果是[0.1 0.8 0.6 0.2], 那么加权后的结果是[0 0.8 0.6 0],sum([0 0.8 0.6 0])>1,则为1,否则为0。因为只有每个标签都>0.5才算是正确。但是如果有一个类是单标签,那就会出现问题了。...原创 2020-11-18 17:10:15 · 2542 阅读 · 0 评论 -
RuntimeError:输入类型(torch.FloatTensor)和权重类型(torch.cuda.FloatTensor)应该相同(RuntimeError:输入类型(torch.FloatT
之所以会出现此错误,是因为您的模型位于GPU上,而数据位于CPU上。因此,您需要将输入张量发送到CUDA。输入,标签= inputs.cuda(),labels.cuda()#添加此行或者像这样,与其余代码保持一致:输入,标签= inputs.to(设备),labels.to(设备)在同样的错误,如果你的数据在CUDA,但你的模型是不是消息将弹出。在这种情况下,您需要将模型发送到CUDA。model= MyModel()if torch.cuda.is_available(原创 2020-11-18 15:54:55 · 1353 阅读 · 0 评论 -
Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should be the same
原因在于自己整理数据集的时候,使用了np.array,然后默认保存成float64,但是pytorch中默认是float32首先找到代码出错的位置,将该处的数据类型转为float类型:x = x.type(torch.FloatTensor)原创 2020-11-18 15:51:27 · 3563 阅读 · 0 评论 -
numpy的dtype,astype
综述:np类型的a如果直接修改如:a.dtype='int16',那么直接会修改a,会导致长度的不一致,如果要直接修改则要采用astype方法如:b=a.astype('int16'),a保持不变,b的长度等于a,并且type由a变成了int16,或者调用b=np.array(a,dtype='int16'),效果和astype一样。另外b=np.array(a,dtype=np.int16)中的np.int16是一样的float类型默认float64=float,int类型默认int64=int,转载 2020-11-18 15:47:10 · 2271 阅读 · 3 评论 -
Pytorch | Pytorch框架中模型和数据的gpu和cpu模式:model.to(device), model.cuda(), model.cpu(), DataParallel
参考:https://blog.csdn.net/iLOVEJohnny/article/details/106021547背景介绍我们在使用Pytorch训练时,模型和数据有可能加载在不同的设备上(gpu和cpu),在算梯度或者loss的时候,报错信息类似如下:RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.cuda.FloatTensor but转载 2020-11-18 14:01:45 · 3832 阅读 · 0 评论 -
pytorch中神经网络模型的初始化-保存-加载
https://blog.csdn.net/remanented/article/details/89161297一、打算开始训练自己的模型,希望能够得到较好的training_model,包括了对模型的初始化第一种from torch.nn import init#define the initial function to init the layer's parameters for the networkdef weigth_init(m): if isinstance(m原创 2020-11-18 11:01:21 · 1767 阅读 · 2 评论 -
Pytorch加载自己的数据集(使用DataLoader加载Dataset)
https://www.pytorchtutorial.com/pytorch-custom-dataset-examples/https://blog.csdn.net/l8947943/article/details/1037334731. 我们需要加载自己的数据集,使用Dataset和DataLoaderDataset:是被封装进DataLoader里,实现该方法封装自己的数据和标签。 DataLoader:被封装入DataLoader迭代器里,实现该方法达到数据的划分。2.Datas原创 2020-11-18 09:44:51 · 8470 阅读 · 0 评论