关于nn.ReLU函数

转载自：https://blog.csdn.net/zhanly19/article/details/99232815，本文只做个人记录学习使用，版权归原作者所有。

nn.ReLU(inplace=True)

参数inplace=True：inplace为True，将会改变输入的数据，否则不会改变原输入，只会产生新的输出

inplace: can optionally do the operation in=plase. Default: False

注：产生的计算结果不会有影响。利用in-place计算可以节省内存，同时还可以省区反复申请何氏放内存的时间。但是会对原始变量进行覆盖，只要不带来错误就用。

举一个例子：

import torch
import torch.nn as nn

input = torch.randn(5)
print('输入处理前:\n', input, input.size())
print('*'*70)

print("Default. inplace=False:")
output_F = nn.ReLU(inplace=False)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_F, output_F.size())

print('*'*70)

print("inplace=True:")
output_T = nn.ReLU(inplace=True)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_T, output_T.size())

运行结果：

输入处理前:
 tensor([-2.2577,  0.1088, -0.9960,  0.4097, -0.3411]) torch.Size([5])
**********************************************************************
Default. inplace=False:
输入:
 tensor([-2.2577,  0.1088, -0.9960,  0.4097, -0.3411]) torch.Size([5])
输出:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
**********************************************************************
inplace=True:
输入:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
输出:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])