torch.nn模块之常用激活函数详解

1. 常用的激活函数

在PyTorch中,提供了十几种激活函数层所对应的类,但常用的激活函数类和和功能如下表1所示。

表1 常用激活函数操作
名称 层对应的类 功能
S型激活函数 torch.nn.Sigmoid Sigmoid激活函数
双曲正切函数 torch.nn.Tanh Tanh激活函数
线性修正单元函数 torch.nn.ReLu ReLu激活函数
ReLu函数变体 torch.nn.LeakyReLu LeakyReLu激活函数
平滑近似ReLu函数 torch.nn.Softplus ReLu激活函数的平滑近似

2. 激活函数计算公式及其可视化

2.1 Sigmoid激活函数

torch.nn.Sigmoid()对应的Sigmoid激活函数,也叫logistic激活函数。

Sigmoid函数计算公式为
f ( x ) = 1 1 + e − x f(x)=\frac1{1+e^{-x}} f(x)=1+ex1
Sigmoid函数的导数有一个特殊的性质(导数是关于原函数的函数),导数公式如下:
f ′ ( x ) = f ( x ) ∗ ( 1 − f ( x ) ) f'(x)=f(x)*(1-f(x)) f(x)=f(x)

  • 14
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值