GELU激活函数

追影子的蛇

已于 2022-07-09 20:22:55 修改

阅读量418

点赞数

分类专栏：深度学习文章标签：概率论深度学习

于 2022-07-09 19:24:06 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_45821834/article/details/125697607

版权

深度学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

GELU函数的准确形式：

$\text{GELU}(x)=xP(X\leq x)=x\Phi (x) = x\cdot \frac{1}{2}[1+\text{erf}(\frac{x}{\sqrt{2}})]$

GELU函数的近似形式为：

$\text{GELU}(x)=0.5 x\left(1+\tanh \left[\sqrt{2 / \pi}\left(x+0.044715 x^{3}\right)\right]\right)$

其中 $\Phi(x)$ 为标准正态分布的累计分布函数

误差函数 $\operatorname{erf}(x)=\frac{1}{\sqrt{\pi}} \int_{-x}^{x} e^{-t^{2}} d t=\frac{2}{\sqrt{\pi}} \int_{0}^{x} e^{-t^{2}} d t$

看了很多博客都只写到这里，但没有证明过程，让我感到挺费解的。这里补充一下证明过程：

$\operatorname{erf}(x / \sqrt{2})=\frac{2}{\sqrt{\pi}} \int_{0}^{\frac{x}{\sqrt{2}}} e^{-t^{2}} d t$

利用换元法，令 $t=\frac{p}{\sqrt{2}}$ ，则有：

$\operatorname{erf}(x / \sqrt{2}) =2\left(\frac{1}{\sqrt{2 \pi}} \int_{0}^{x} e^{-\frac{p^{2}}{2}} d p\right)=2\left(\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{x} e^{-\frac{p^{2}}{2}} d p-\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{0} e^{-\frac{p^{2}}{2}} d p\right)=2 \Phi(x)-1$

追影子的蛇

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
GELU激活函数

补充说明GELU激活函数的证明过程
复制链接

扫一扫

专栏目录

追影子的蛇 CSDN认证博客专家 CSDN认证企业博客

码龄5年

11: 原创

131万+: 周排名

20万+: 总排名

1万+: 访问

: 等级

194: 积分

39: 粉丝

63: 获赞

15: 评论

166: 收藏

私信

关注

热门文章

分类专栏

最新评论

超像素(superpixel)——SLIC和深度学习法
紫小米: 求更新
超像素(superpixel)——SLIC和深度学习法
紫小米: 后续处理，比如雨语义分割，怎么使处理单元变为超像素？
维纳滤波及其应用
追影子的蛇: 不太清楚你想问的期望展开具体是哪里？我这里回复一下误差e展开之后为什么有转置符号T。给定向量a，其二范数的平方为|a|_2^2 = a^T a。那么，|a+b|_2^2=(a+b)^T (a+b) = a^T a + b^T a + a^T b + b^T b。所以，按照这个公式将期望展开，因为G,H,I与期望运算无关，可以提取出期望运算之外，就可以展开成我写的样子。如果还有不明白的地方，欢迎继续留言讨论~
维纳滤波及其应用
孤傲的演员: 兄弟我想问一下，期望那里展开的时候右上角有个T，那是怎么展开的？
维纳滤波及其应用
孤傲的演员: 博主，为啥你期望那里展开的时候右上角有个T，那是怎么展开的

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。