![](https://img-blog.csdnimg.cn/20200305101758229.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Pytorch专栏
文章平均质量分 78
主要负责Pytorch的教程
等待戈多。
这个作者很懒,什么都没留下…
展开
-
Netron 可视化Pytorh模型架构
当训练别人的模型并加入DDP时,发现模型中有部分参数没有被使用而报错。而通过Print输出模型架构又太冗余,且不直观。因此在网上寻找一种可以可视化模型架构的工具,要求该工具可以实现对Pytorch模型的可视化,且该工具处于活跃状态(更新周期短),并且有大量用户使用(Star10k+)。Netron1恰好符合上述需求,更新周期短,最近更新周期 3 Hours前,且issue有回复,star 20k+,完美符合。原创 2022-09-19 21:29:58 · 900 阅读 · 0 评论 -
Pytorch多GPU条件下DDP集群分布训练实现(简述-从无到有)
近两天在尝试Pytorch环境下多GPU的模型训练,总结一份可以从无到有完整实现的笔记。搞了一晚上加一中午,终于搞成功了。这里对此进行记录,便于以后查阅。原创 2022-07-27 15:27:24 · 1766 阅读 · 0 评论 -
在训练过程中跑验证集导致显存out of memory问题。
文章目录前言正文总结前言在训练模型时,笔者想要每训练一个epoch,记录一下val的准确率,但是每当训练完第一个epoch开始准备跑val数据集的时候,就会出现显存double然后溢出的情况(batch_size在验证和训练时设置相同)。此处将复现笔者出现的问题,并给出解决方案。正文原始训练流程:for eopch in epochs: for data,label in train_dataloader: model.train() train(model,data,label)原创 2022-05-02 21:03:56 · 2854 阅读 · 0 评论 -
Pytorch有关学习率的使用总结
文章目录有关学习率的调整方式一、学习率的调整模板常见模板1:常见模板2:通用模板:二、自适应调整学习率方式 - ReduceLROnPlateau参考附录:pytorch常见学习率调整函数:有关学习率的调整方式当我们定义好优化器后,有关学习率的调整方式是比较头大的一个问题,除了自己手动定义函数来自定义的调整学习率的方法外,pytorch的optim库也提供了许多便捷的动态学习率的调整方式。torch.optim.lr_scheduler提供了一些基于epoch数的学习率调整方法。torch.opt原创 2022-03-29 12:04:25 · 3084 阅读 · 0 评论 -
Pytorch 技巧 torch.clamp_ 限定输入矩阵内的值到指定范围内
torch.clamp(input, min, max, out=None) → TensorClamps all elements in input into the range [ min, max ]. Letting min_value and max_value be min and max, respectively, this returns:将input内的值限定在(min,max)区间内。yi=min(max(xi,min_valuei),max_valuei)y_i = \m原创 2022-03-06 15:31:16 · 1216 阅读 · 0 评论 -
Pytorch profiler with tensorboard.
文章目录前言:你将学到什么?一、准备数据集和模型二、使用profiler来记录执行的事件三、执行profiler四、使用TensorBoard来观察结果并对模型性能做出分析最后:总结前言:你将学到什么?注意:以下所有的内容均来自pytorch官网,建议想了解profiler的同学可以直接上官网查询。这篇教程针对的是PyTorch1.8+以上版本新更新的profiler API,目的是实时记录电脑CPU和GPU的工作情况,以更好的提升模型的性能,解决模型遇到的瓶颈。通过这篇教程,你将学到如何利用Ten原创 2022-02-27 22:02:27 · 7450 阅读 · 1 评论 -
深度学习中有关网络中的参数量(param)计算。附录有浮点计算量(FLOPs)的链接。
文章目录网络中的参数量(param)和浮点计算量(FLOPs)的计算一、网络中的参数量(param)是什么?浮点计算量(FLOPs)是什么?二、如何计算网络中的参数量(param)、浮点计算量(FLOPs)网络中的参数量(param)的计算2.读入数据总结网络中的参数量(param)和浮点计算量(FLOPs)的计算一、网络中的参数量(param)是什么?浮点计算量(FLOPs)是什么?网络中的参数量(param)对应与空间Space概念,及空间复杂度。浮点计算量(FLOPs)对应与时间Time概.原创 2022-02-27 20:03:49 · 10416 阅读 · 4 评论 -
如何规范化的建立一个pytorch项目
一个好的Pytorch项目应包含如下规范:定义PyTorch项目的软件工程规范,包含:训练测试的代码目录/文件规范;配置规范;训练测试的代码目录/文件规范每一个符合deepvac规范的PyTorch模型训练项目,都包含下面这些目录和文件:目录/文件说明是否必须README.md项目的说明、git分支数量及其介绍、原始数据的存放路径说明是train.py模型训练和验证文件,继承DeepvacTrain类的扩展实现是test.py模型测试文件, 继承D原创 2021-11-24 00:54:13 · 827 阅读 · 1 评论 -
基于深度学习的语音情绪识别 Speech emotion recognition based on Deep Learning(二)
基于深度学习的语音情绪识别 Speech emotion recognition based on Deep Learning前言数据预处理IEMOCAP读取数据集数据集的特殊处理模型处理训练结果前言基于深度学习的语音情绪识别一因为法一遇到点困难,先用较为简单的方法二来实现,之后逐步更改.数据预处理IEMOCAP我们使用的是IEMOCAP数据集.我之后会做一个IEMOCAP数据集详...原创 2020-03-01 17:00:41 · 4378 阅读 · 7 评论 -
五天学会Pytorch
文章目录我的Pytorch学习笔记前言:Day 1 数据的基本操作 Tensor的使用Tensor的基础使用**Tensor重点知识**:自动求梯度 Autograd概念例子 TensorDay 2&3 深度学习基础线性回归(适用于连续值等预测问题)1.生成数据集2. 读取数据3. 定义模型4.初始化模型参数5.定义Loss Function6定义优化算法7.训练模型神经网络图Softma...原创 2020-03-01 11:47:56 · 1354 阅读 · 0 评论 -
有关声音信号的那么点知识
有关声音信号的那么点知识前言音频的属性讲解1. Spectrogram2.参考来源前言好像<语音信号处理>这本书解释很详细,但我并没有系统上过这门课程,所以自己做一些笔记.音频的属性讲解音频 :指人耳可以听到的声音频率在20HZ~20kHz之间的声波,称为音频。采样频率/sample rate/采样率:指每秒钟取得声音样本的次数。采样率定义了每秒从连续信号...原创 2020-02-29 17:40:41 · 2976 阅读 · 0 评论 -
tensorflow:tf.reshape();pytorch:torch.reshape()讲解
文章目录Tensorflow tf.reshape()讲解注意pytorch torch.reshape()讲解官方示例参考Tensorflow tf.reshape()讲解参考自官方文档tf.reshape(tensor,shape,name=None)tensor:毫无疑问,输入一个Tensor类型的数据shape:期望新的shape.Return:一个数据不变的具有指...原创 2020-02-16 12:24:44 · 3606 阅读 · 0 评论 -
基于深度学习的语音情绪识别 Speech emotion recognition based on Deep Learning
Speech emotion recognition 前言数据集数据集的选择数据集的预处理训练和测试集模型Modle讲解前言本博客将详细介绍基于深度学习的语音情感识别的流程及方法,之后讲针对该方法做一篇基于Pytorch的语音情感识别的实现方式。数据集数据集的选择限于篇幅,具体数据集内容不再详细介绍。推荐的语音情绪识别的数据集:Emodb:来自德国的语音数据集,包含7种情绪。SA...原创 2020-02-09 20:52:44 · 6908 阅读 · 10 评论 -
Pytorch快速入门
文章目录前言Pytorch快速入门指南1.灵活运用官网的Tutorials2.经常查看官网的Docs3.Google代替Baidu4.Github的开源项目很不错5.未完待续附录前言qi学习经历:博主在半年内近乎从零开始了解深度学习,并直接跳过了机器学习的内容,没有系统的上过与深度学习有关的课程,也是第一次上手Pythorch,且以前也很少用python进行编程.(几乎都在用Matla...原创 2020-02-08 18:53:24 · 358 阅读 · 0 评论