Pytorch搭建模型
文章平均质量分 91
展示Pytorch搭建深度学习模型的Pipline,展示典型例子
应有光
这个作者很懒,什么都没留下…
展开
-
【环境配置-1】-anaconda环境配置
由于换了电脑,因此原本很多配置过的内容又得重新操作一遍。不过这会也借机会熟悉一下conda虚拟环境配置的一些操作。对环境的管理增#在不影响当前版本的情况下,新建环境并安装不同版本的python#新建一个Python版本为3.6 名称为 py36 的环境conda create -n py36 python=3.6 anaconda#注:将py36替换为您要创建的环境的名称。 anaconda是元数据包,带这个会把base的基础包一起安装,不带的话新环境只包含python3.6相关的包。 pyth原创 2022-03-31 16:56:35 · 2359 阅读 · 0 评论 -
【Pytorch-6】-模型保存与加载
其实Pytorch模型保存还是挺简单的,但是不同方式也有好坏之分吧。有时候,我们不仅仅需要保存模型参数,实际上有时需要保存训练的所有现场,包括优化器的内容。即有时候是只保存参数,但有时候需要保存模型训练的全过程。最为常用如果直接保存模型,其实很直接了当;如果model是pytorch的nn.module继承而来的,那么如下:model_path = os.path.join(output, 'model.pth')torch.save(model.state_dict(), model_path)原创 2022-03-27 16:56:00 · 2425 阅读 · 0 评论 -
【Pytorch-0】-结构性整理
本节从一个非常简单的小例子开始,说明如何搭建Pytorch的深度学习模型。本节从在Minist数据集上训练最简单的VAE实现开始,讲述如何搭建模型:1. 模型训练总的来说,整个训练流程需要以下几个步骤:数据准备,超参数管理:数据准备如使用dataset管理,超参数可以通过argparse管理,也可以通过yaml管理,或者暴力输入,但是这不是一个很好的习惯。数据预处理:如使用torchvision进行处理,但是实际可能复杂很多。数据加载,获得迭代器:例如,Dataloader,DataIter搭原创 2022-03-27 00:52:28 · 677 阅读 · 0 评论 -
【Pytorch-3】-基础网络模块概念
1.MLP常见的MLP可能结构如下所示,即若干组:全连接+激活函数。可能加上dropout。class MLP(nn.Module): """A simple MLP. """ def __init__(self, input_size, hidden_size, num_classes, num_layers=1, dropout_p=0.0): """Constructor for MLP. Args:原创 2022-03-25 23:46:33 · 295 阅读 · 0 评论 -
【Pytorch-3.3】——RNN时序网络建模
本文是在实现IVQA模型时的一些记录,该模型使用的是RNN建模,因此借此机会回顾一些Seq2Seq模型的写法,以及Pytorch的使用。1.LSTM:看结构图就可以明白LSTM的机理。LSTM是一种使用了“门控”方式的RNN,最原始的RNN的结构上,其实就是一般的MLP网络,但是有一个“自回归的状态输出”。门控机制其实可以看作注意力机制,形式上是类似的。具体的,LSTM有三个门,被称作是输入门(input gate),遗忘门(forget gate),输出门(output gate)。三个门依次控原创 2022-03-25 23:45:00 · 674 阅读 · 0 评论 -
【Pytorch-7】-Pytorch的初级GPU训练
现如今模型都比较大,光用CPU是训练模型基本不可能,不过做模型推理还是可以的。本小节主要回顾如何使用GPU训练模型,当然环境配置就不啰嗦了,这里直接进入正题:将相关数据放到GPU上;如何将模型放到GPU上;最为粗暴的多GPU训练方法;首先,我们可以用如下方法判断我们是否可以用GPU训练模型:torch.cuda.is_available():1.数据放置我们可以用粗暴的方法放置数据,即,我们直接通过tensor.cuda()方法就可以达到目标,如下所示: for i, (images,原创 2022-03-25 23:42:23 · 1997 阅读 · 0 评论 -
【Basic model】Transformer-实现中英翻译
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-11-26 21:25:54 · 2021 阅读 · 1 评论