在 pytorch 中,提供了十几种激活函数层所对应的类,但常用的激活函数通常为 S 型(Sigmoid)激活函数、双曲正切(Tanh)激活函数、线性修正单元(ReLU)激活函数等。
层对应的类 | 功能 |
---|---|
torch.nn.Sigmoid | Sigmoid 激活函数 |
torch.nn.Tanh | Tanh 激活函数 |
torch.nn.ReLU | ReLU 激活函数 |
torch.nn.Softplus | ReLU 激活函数的平滑近似 |
在 pytorch 中,提供了十几种激活函数层所对应的类,但常用的激活函数通常为 S 型(Sigmoid)激活函数、双曲正切(Tanh)激活函数、线性修正单元(ReLU)激活函数等。
层对应的类 | 功能 |
---|---|
torch.nn.Sigmoid | Sigmoid 激活函数 |
torch.nn.Tanh | Tanh 激活函数 |
torch.nn.ReLU | ReLU 激活函数 |
torch.nn.Softplus | ReLU 激活函数的平滑近似 |