torch.nn函数解析

一. 非线性激活函数解析

1.1 nn.ELU

 

 优点:

  • 它在所有点上都是连续的和可微的。
  • 与其他线性非饱和激活函数(如 ReLU 及其变体)相比,它有着更快的训练时间。
  • 与 ReLU 不同,它没有神经元死亡的问题。 这是因为 ELU 的梯度对于所有负值都是非零的。
  • 作为非饱和激活函数,它不会遇到梯度爆炸或消失的问题。
  • 与其他激活函数(如 ReLU 和变体、Sigmoid 和双曲正切)相比,它实现了更高的准确性。

缺点:

  • 与 ReLU 及其变体相比,由于负输入涉及非线性,因此计算速度较慢。 然而,在训练期间,ELU 的更快收敛足以弥补这一点。 但是在测试期间,ELU 的性能会比 ReLU 及其变体慢。

参考:

[1]. ELU as an Activation Function in Neural Networks . 

[2]. ELU — PyTorch 1.12 documentation

[3]. Elu激活函数(Elu activation) - 知乎

 

二. Vision layer (特征表述层)

 

参考:

[1]. PixelShuffle — PyTorch 1.12 documentation

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值