torch.nn函数解析

一. 非线性激活函数解析

1.1 nn.ELU

 

 优点：

• 它在所有点上都是连续的和可微的。
• 与其他线性非饱和激活函数（如 ReLU 及其变体）相比，它有着更快的训练时间。
• 与 ReLU 不同，它没有神经元死亡的问题。 这是因为 ELU 的梯度对于所有负值都是非零的。
• 作为非饱和激活函数，它不会遇到梯度爆炸或消失的问题。
• 与其他激活函数（如 ReLU 和变体、Sigmoid 和双曲正切）相比，它实现了更高的准确性。

缺点：

• 与 ReLU 及其变体相比，由于负输入涉及非线性，因此计算速度较慢。 然而，在训练期间，ELU 的更快收敛足以弥补这一点。 但是在测试期间，ELU 的性能会比 ReLU 及其变体慢。

参考：

[1]. ELU as an Activation Function in Neural Networks . 

[2]. ELU — PyTorch 1.12 documentation

[3]. Elu激活函数（Elu activation） - 知乎

 

二. Vision layer （特征表述层）

 

参考：

[1]. PixelShuffle — PyTorch 1.12 documentation