pytorch中激活函数ReLU

nn.ReLU(inplace=True)

Parameters
inplace – can optionally do the operation in-place. Default: False

ReLU(x)=max(0,x)

参数inplace=True:
inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出

注： 产生的计算结果不会有影响。利用in-place=True计算可以节省内（显）存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。

m = nn.ReLU()
n = nn.ReLU(inplace=True)
input = autograd.Variable(torch.randn(5))
inputTemp = input
print(input)
print(m(input))
print(input,'\n')
print(inputTemp)
print(n(inputTemp))
print(inputTemp)

#运行结果
tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])
tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505]) 

tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])