pytorch
saomanchum
这个作者很懒,什么都没留下…
展开
-
pytorch学习:learning with example
autograd:我们可以使用自动微分 来自动计算神经网络中的后向传递, PyTorch中的 autograd包提供了这个功能。使用autograd时,网络的正向传递将定义 计算图形 ; 图中的节点将是张量,边将是从输入张量产生输出张量的函数。通过此图反向传播,您可以轻松计算渐变。1、 普通使用# -*- coding: utf-8 -*-import torchdtype = tor...原创 2019-04-08 10:01:55 · 164 阅读 · 0 评论 -
torch.nn 学习之batchnormalization
torch.nn.BatchNorm2dBatch Normalization对每个隐藏层的输入进行标准化,有加速收敛等好处。原创 2019-04-12 14:25:32 · 837 阅读 · 0 评论 -
pytorch scheduler.step() .to(device)
optimizer.step()和scheduler.step()的区别optimizer.step()通常用在每个mini-batch之中,而scheduler.step()通常用在epoch里面,但是不绝对,可以根据具体的需求来做。只有用了optimizer.step(),模型才会更新,而scheduler.step()是对lr进行调整。通常我们有optimizer = optim.S...原创 2019-04-09 10:19:40 · 3891 阅读 · 0 评论 -
pytorch relu inplace
inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出原创 2019-04-13 08:31:51 · 253 阅读 · 0 评论