常用激活函数

«深入浅出深度学习——原理剖析与Python实践»黄安埠Page220

Sigmoid函数

Sigmoid 是常用的非线性的激活函数,它的数学形式如下:
f ( z ) = 1 1 + e − z f(z)=\frac{1}{1+e^{-z}} f(z)=1+ez1
Sigmoid的几何图像如下:
在这里插入图片描述

导数图像:
在这里插入图片描述

tanh函数

tanh读作Hyperbolic Tangent,函数解析式:
t a n h ( x ) = e x − e − x e x + e − x tanh(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}} tanh(x)=ex+exexex
tanh函数及其导数的几何图像如下图:
在这里插入图片描述

Relu函数

Relu函数的解析式:
R e l u = m a x ( 0 , x ) Relu=max(0,x) Relu=max(0,x)

Relu函数及其导数的图像如下图所示:
在这里插入图片描述

Leaky ReLU函数(PReLU)

函数表达式:
f ( x ) = m a x ( α x , x ) f(x)=max(αx,x) f(x)=max(αx,x)
Leaky Relu函数及其导数的图像如下图所示:
在这里插入图片描述

ELU (Exponential Linear Units) 函数

函数表达式:
f ( x ) = { x , if  x > 0 α ( e x − 1 ) , otherwise f(x)= \begin{cases} x, & \text {if $x>0$} \\ \alpha(e^x-1), & \text{otherwise}\end{cases} f(x)={x,α(ex1),if x>0otherwise
函数及其导数的图像如下图所示:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值