GELU激活函数

GELU函数的准确形式 :

\text{GELU}(x)=xP(X\leq x)=x\Phi (x) = x\cdot \frac{1}{2}[1+\text{erf}(\frac{x}{\sqrt{2}})]

 GELU函数的近似形式为:

\text{GELU}(x)=0.5 x\left(1+\tanh \left[\sqrt{2 / \pi}\left(x+0.044715 x^{3}\right)\right]\right)

其中\Phi(x)为标准正态分布的累计分布函数

误差函数\operatorname{erf}(x)=\frac{1}{\sqrt{\pi}} \int_{-x}^{x} e^{-t^{2}} d t=\frac{2}{\sqrt{\pi}} \int_{0}^{x} e^{-t^{2}} d t 

看了很多博客都只写到这里,但没有证明过程,让我感到挺费解的。这里补充一下证明过程

 \operatorname{erf}(x / \sqrt{2})=\frac{2}{\sqrt{\pi}} \int_{0}^{\frac{x}{\sqrt{2}}} e^{-t^{2}} d t

利用换元法,令t=\frac{p}{\sqrt{2}},则有:

\operatorname{erf}(x / \sqrt{2}) =2\left(\frac{1}{\sqrt{2 \pi}} \int_{0}^{x} e^{-\frac{p^{2}}{2}} d p\right)=2\left(\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{x} e^{-\frac{p^{2}}{2}} d p-\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{0} e^{-\frac{p^{2}}{2}} d p\right)=2 \Phi(x)-1

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值