![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
luputo
这个作者很懒,什么都没留下…
展开
-
Automatic differentiation in PyTorch
论文阅读Automatic differentiation in PyTorch主要内容Pytorch是一个深度学习框架,提供了高性能的环境以及容易使用的自动微分模块,并能在不同设备上运行Pytorch基于的一些项目Lua TorchChainerHIPS AutogradPytorch的所基于项目的两个特性动态,define-by-run execution在静态图中,...原创 2018-12-13 14:47:48 · 2191 阅读 · 0 评论 -
Pytorch自定义参数
Pytorch自定义参数如果想要灵活地使用模型,可能需要自定义参数,比如class Net(nn.Module): def __init__(self): super(Net,self).__init__() self.A = torch.randn((2,3),requires_grad=True) self.B = nn.Linear...原创 2019-05-22 23:01:22 · 11399 阅读 · 4 评论 -
Pytorch 默认参数初始化
Pytorch 默认参数初始化代码参考自pytorchpytorch中的各种参数层(Linear、Conv2d、BatchNorm等)在__init__方法中定义后,不需要手动初始化就可以直接使用,这是因为Pytorch对这些层都会进行默认初始化,因此,本文主要根据源码来了解一下不同层的默认初始化方法初始化函数def kaiming_uniform_(tensor, a=0, mode='...原创 2019-07-29 20:32:57 · 21947 阅读 · 2 评论 -
Pytorch参数注册问题和nn.ModuleList nn.ModuleDict
Pytorch参数注册问题和nn.ModuleList nn.ModuleDict参考自官方文档参数注册尝试自己写GoogLeNet时碰到的问题,放在字典中的参数无法自动注册,所谓的注册,就是当参数注册到这个网络上时,它会随着你在外部调用net.cuda()后自动迁移到GPU上,而没有注册的参数则不会随着网络迁到GPU上,这就可能导致输入在GPU上而参数不在GPU上,从而出现错误,为了说明这...原创 2019-07-30 21:16:08 · 7026 阅读 · 4 评论 -
Pytorch结合语言模型理解torch.gather
Pytorch结合语言模型理解torch.gathertorch.gather一直是我觉得不太理解的函数,往往在代码里也比较少会碰到,偶尔碰到了,去查一下官方文档,查了也不太看的懂,这里结合语言模型,来解释一下torch.gather的意义,一切还是从官方文档说起文档解释torch.gather(input, dim, index, out=None, sparse_grad=False) ...原创 2019-12-17 00:42:11 · 263 阅读 · 0 评论 -
Pytorch中的Broadcasting
Numpy、Pytorch中的broadcasting写在前面自己一直都不清楚numpy、pytorch里面不同维数的向量之间的element wise的计算究竟是按照什么规则来确认维数匹配和不匹配的情况的,比如>>> b = np.ones((4,5))>>> a = np.arange(5)>>> c = a + b>&g...原创 2019-08-27 16:47:26 · 2626 阅读 · 0 评论