GELU激活函数

GELU是一种常见的激活函数,全称为“Gaussian Error Linear Unit”,其图像与ReLU、ELU对比如下:
GeLU
文章链接:https://arxiv.org/pdf/1606.08415.pdf
https://pytorch.org/docs/master/generated/torch.nn.GELU.html

GELU
公式为: G E L U ( x ) = x ∗ Φ ( x ) GELU(x) = x*\Phi(x) GELU(x)=xΦ(x)
其中 Φ ( x ) \Phi(x) Φ(x)表示高斯分布的累积概率分布,即在(-∞,x]区间对高斯分布的定积分。
我们可以看一下 Φ ( x ) \Phi(x) Φ(x)的函数图像:
Phi
一般常见的是均值为0,方差为1的版本。如红色曲线所示。

当方差为无穷大,均值为0的时候,GeLU就等价于ReLU了。GELU可以当作为RELU的一种平滑策略。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木盏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值