nn.Module之激活函数

最常用的ReLU函数

relu = nn.ReLU(inplace = True)
input = t.randn(2, 3)
print(input)
output = relu(input)
print(output)

out：
tensor([[-0.1881, -0.0310, -1.4321],
        [-0.8111,  0.1544,  0.2727]])
tensor([[ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.1544,  0.2727]])  # 小于0的截断

ReLU函数的inplace参数，如果设为True，它会把输出直接覆盖到输入中，节省内存/显存，但是一般不要使用inplace操作。

对于前馈神经网络，每次写forward函数会有些麻烦，因此有两种简化方式，ModuleList和Sequential
Sequential是一个特殊的Module，它包含几个子Module，向前传播时会将输入一层接一层的传递下去。

"""
Sequential 的三种写法
"""
net1 = nn.Sequential(