![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 86
miguemath
数学
展开
-
MAML复现全部细节和经验教训(Pytorch)
我将在本文分享我复现maml时的经验和教训。原创 2020-04-14 11:17:49 · 14588 阅读 · 43 评论 -
MAML模型无关的元学习代码完整复现(Pytorch版)
1 引言元学习是今年来新起的一种深度学习任务,它主要是想训练出具有强学习能力的神经网络。元学习领域一开始是一个小众的领域,之前很多年都没有很好的进展,直到Finn, C.在就读博士期间发表了一篇元学习的论文,也就是大名鼎鼎的MAML,它在回归,分类,强化学习三个任务上都达到了当时最好的性能。我曾经在半年前发表过一篇MAML的学习笔记,博文地址点这里。MAML出现之后算是掀起来了一波研究元学习...原创 2020-03-01 19:42:29 · 23781 阅读 · 40 评论 -
transforms.Compose()类详解:串联多个transform操作
transform.compose原创 2020-02-26 21:53:33 · 55272 阅读 · 13 评论 -
Pytorch多GPU计算之torch.nn.DataParallel()
pytorch中的GPU操作默认是异步的,当调用一个使用GPU的函数时,这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。但平时我们用的更多其实是多GPU的并行计算,例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行,相当于开了多个进程,每个进程自己独立运行,然后再整合在一起。...原创 2020-02-20 15:38:06 · 8250 阅读 · 2 评论 -
one hot编码:`torch.Tensor.scatter_()`函数用法详解
torch.Tensor.scatter_()是torch.gather()函数的方向反向操作。两个函数可以看成一对兄弟函数。gather用来解码one hot,scatter_用来编码one hot。scatter_(dim, index, src) → Tensordim (python:int) – 用来寻址的坐标轴index (LongTensor) – 索引src(Tensor...原创 2020-02-17 12:55:21 · 3605 阅读 · 1 评论 -
解码one hot: `torch.gather()`函数的用法
torch.gather()的官方解释是: 通过dim沿着坐标轴聚集值。上面那句话太简短了,读完了也不知道这个函数到底怎么用。先看一下它的全部样子:torch.gather(input, dim, index, out=None, sparse_grad=False) → Tensorinput (Tensor) – 源张量(so...原创 2020-02-16 21:16:22 · 680 阅读 · 0 评论 -
Pytorch保存和加载模型完全指南: 关于使用Pytorch读写模型的一切方法
本文是一篇关于如何用Pytorch保存和加载模型的指南。文章目录1 读写tensor1.1 单个张量1.2 张量列表和张量词典2 保存和加载模型2.1 *state_dict*2.2 保存和加载2.2.1 保存和加载state_dict(推荐方式)2.2.2 保存和读写整个模型2.2.3 保存和加载checkpiont2.2.4 在一个文件中保存多个模型2.3 使用来自不同模型的参数进行模型热启...原创 2020-02-13 15:13:43 · 1563 阅读 · 0 评论 -
模型的学习率(learning rate)太高将使网络无法收敛!
博主在跑代码的时候,发现过大的Learning rate将导致模型无法收敛。主要原因是过大的learning rate将导致模型的参数迅速震荡到有效范围之外.(注: 由于pytorch中已封装好的代码对模型参数的大小设置了一个界限,因此模型参数不会无限大)这篇文章将要探讨一下不同learning rate的情况下,模型的收敛情况.lr = 0.1,模型收敛得很好。lr = 0.6,在第...原创 2020-02-11 15:40:53 · 6254 阅读 · 1 评论 -
手把手教你用Pytorch构造模型(GPU版和CPU版)
pass原创 2020-02-11 15:13:12 · 861 阅读 · 0 评论 -
Pytorch的Tensor.to(device)函数不会保存张量的requires_grad信息?
博主最近在跑代码的时候,发现即使我使用了backward(),也无法得到我想要的参数的梯度。博主当然知道pytorch默认只保存叶结点的grad,对于那些中间结点的grad则是一律丢弃。博主当然也知道使用register_hook来获取中间结点的grad。然而这些都不能解决我的问题。我的问题代码如下:import torch import numpy as npdevice = torc...原创 2020-02-11 15:07:03 · 4879 阅读 · 0 评论 -
Pytorch批量数据读取方法详解: DataLoader
在训练模型的过程中,我们需要不断的读取小批量的数据样本。Pytorch提供了data包来读取数据。接下来我将人工生成一些数据,然后使用data包来处理数据。import torchimport numpy as np'''The features number is 3, and the number of examples is 1000.''' true_w = [2, 3, 5....原创 2020-02-07 14:50:31 · 4469 阅读 · 0 评论