「Deep Learning」Note on GELU（Gaussian Error Linear Unit）

最新推荐文章于 2024-04-18 19:09:56 发布
最新推荐文章于 2024-04-18 19:09:56 发布
阅读量4.4k 收藏 2
点赞数
文章标签： 小锋子 深度学习 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgyuanshaofeng/article/details/80209816
版权

Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/80209816

Sigmoid激活函数虽然具有概率解释（probabilistic interpretation），但是具有如下缺点：1、使得网络收敛较慢（slow）；2、使得网络参数解收敛不准确（inaccurate）。
ReLU激活函数虽然性能好于Sigmoid，但是缺乏概率解释。
文中提出GELU高斯误差线性单元bridge确定性激活函数ReLU和随机正则子Dropout之间的gap，也就是希望GELU这种随机性激活函数替代ReLU。文中提到，在几个任务中，GELU好于ReLU和ELU。
GELU定义如下：

GELU(
最低0.47元/天 解锁文章
小锋子Shawn
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GELU论文翻译
Learning
03-17 3909
GELU论文翻译 基本是机器翻译，也进行了基本的人工矫正，凑活看吧 原论文：Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units 摘要 本文中我们提出了一种具有高性能的神经网络激活函数 Gaussian Error Linear Units（GELU）。GELU非线性是随机过程的...
误差函数拟合优缺点_GELU的两个初等函数近似是怎么来的？
weixin_39637646的博客
11-19 576
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络GELU，全称为 Gaussian Error Linear Unit，也算是 RELU 的变种，是一个非初等函数形式的激活函数。它由论文 Gaussian Error Linear Units (GELUs) [1] 提出，后来被用到了 GPT 中，再后来被用在了 BERT 中，再再后来的不少预训练...
激活函数：GELU（Gaussian Error Linear Units）
最新发布
FriendshipTang的博客
04-18 1792
PyTorch、人工智能、深度学习、激活函数
【激活函数】GELU 激活函数
Next_SummerAgain的博客
01-05 2009
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。
常用的激活函数理解
weixin_41168869的博客
06-21 1239
常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。
GELU激活函数
weixin_38190702的博客
07-08 4059
GELU激活函数简介
gated_cnn:Keras实施“门控线性单元”
05-14
门控CNN 这是Keras的“门控线性单元”的实现。要求Keras 2.1.2 Tensorflow 1.0.0 其他可以在requirements.txt中看到用法主类是GatedConvBlock在py/gated_cnn.py 。 由于门控线性单元（GLU）中存在残留连接，因此conv...
【深度学习】GeLU高斯误差线性单元原理 深度学习原理.pdf
04-13
GeLU（Gaussian Error Linear Unit）是一种常用的激活函数，广泛应用于深度学习模型中，特别是在自然语言处理和计算机视觉领域。下面是对GeLU高斯误差线性单元原理的详细介绍。 GeLU的数学原理 GeLU的数学原理基于...
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
本篇文章将深入探讨从ReLU（Rectified Linear Unit）到GELU（Gaussian Error Linear Unit）的发展，以及它们在神经网络中的应用和优势。 ReLU是现代神经网络中最常用的激活函数之一，由Nair和Hinton在2010年的论文...
ActivationFunctions:在Tensorflow中从头开始实现激活功能
05-26
在Keras中使用自定义图层的ActivationFunctions 激活函数是深度学习研究的重要领域。正在开发许多新的激活函数，其中包括生物启发性激活，包括其他在内的纯数学激活函数。 尽管有这样的进步，我们通常发现自己通常...
激活函数论文GELUS1
08-03
本文主要介绍了一种新的神经网络激活函数Gaussian Error Linear Unit（GELU），该函数能够在计算机视觉、自然语言处理和语音处理任务中取得性能改进。 首先，作者回顾了神经网络激活函数的发展历程。早期的神经元...
深度学习中的gelu激活函数详解
热门推荐
sinat_36618660的博客
08-26 2万+
论文：gaussian error linear units (一)、什么是gelus激活函数? gelus（gaussian error linear units）就是我们常说的高斯误差线性单元，它是一种高性能的神经网络激活函数，公式如下：(1)xP(X≤x)=xΦ(x){xP(X \le x)=x\Phi(x)}\tag{1}xP(X≤x)=xΦ(x)(1)计算结果大约为:(2)0.5x(1+...
ReZero is All You Need: Fast Convergence at Large Depth
weixin_41697507的博客
03-29 1539
ReZero is All You Need: Fast Convergence at Large Depth Abstract Deep networks have enabled significant performance gains across domains, but they often suffer from vanishing/exploding gradients. Thi...
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
Sigmoid，tanh，Relu，Leaky ReLu，ELU，GeLu 激活函数理解
BGoodHabit的博客
05-29 8168
为什么需要激活函数？ Sigmoid tanh Relu Leaky Relu Rectifier Nonlinearities Improve Neural Network Acoustic Models Elu FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS Gelu GAUSSIAN ERROR LINEAR UNITS (GELUS) 参考文献 添加链接描述 添加链接描述 ......
Tensorflow 自定义高斯激活函数
qq_2918的博客
01-18 4190
Gaussian non-linear activation function tensorflow自带了几个常用的激活函数，但是最近手头的项目，激活函数用的既不是relu，也不是sigmod，而是一个很生僻的函数，高斯激活函数（Gaussian activation function）。 自定义高斯函数形式：f(x) = exp( - (x^2) / (sigma^2) ) 实验中的 si...
GELU激活函数介绍和笔记
夜晓岚的博客
01-26 2万+
GELU激活函数的介绍和个人笔记
[Deep Learning] GELU (Gaussian Error Linerar Units)
weixin_30335575的博客
07-02 721
(转载请注明出处哦~) 参考链接： 1. 误差函数的wiki百科：https://zh.wikipedia.org/wiki/%E8%AF%AF%E5%B7%AE%E5%87%BD%E6%95%B0 2. 正态分布的博客：https://blog.csdn.net/hhaowang/article/details/83898881 3. StackExchange Mathematics:...
介绍一下GELU激活函数
07-28
GELU（Gaussian Error Linear Unit）是一种常用的激活函数，其公式定义如下： GELU(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x^3))) GELU激活函数的主要特点是它在接近零时近似于恒等函数，并且在较...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值