nn.ReLU() 函数的inplace参数
本文对pytorch 中的nn.ReLU() 函数的inplace参数进行了研究,研究发现:第一,inplace 默认为False;第二,inplace 取值不影响loss 的反向传播,计算时可直接予以忽略。import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出np.random.seed(1)W=np.random.randn(7,3)W=torch.Tensor(W)W.require
原创
2021-04-12 23:42:58 ·
3425 阅读 ·
0 评论