激活函数之ReLU, GeLU, SwiGLU

最新推荐文章于 2023-10-07 10:55:26 发布
最新推荐文章于 2023-10-07 10:55:26 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： NLP 文章标签： 激活函数 大模型 自然语言处理 人工智能 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43646592/article/details/132999211
版权

😄 废话不多说，直入主题。

  • ReLU：之前的一些经典网络里的标配，如ResNet等。
  • GeLU：huggingface实现的bert里的标配激活函数。
  • SwiGLU：目前很多大模型里的标配激活函数，如Google的PaLM，Meta的LLaMA等。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

[1] PaLM中使用的激活函数：SwiGLU
[2] GELU激活函数

#苦行僧
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记...
zenRRan的博客
02-27 6285
来自：老刘说NLP进NLP群—>加入NLP交流群Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞争性。Meta表示，该模型在数以万亿计的token上进行训练，并表明有可能完全使用公开的数据集来训...
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像： sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间，函数定义： sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
激活函数汇总
最新发布
Tonney007的博客
10-07 74
激活函数汇总
激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)
走在深度学习前沿的小宋
08-14 1254
本文为前面介绍的激活函数进行一定的补充，介绍了基于Gate mechanism机制的激活函数，包括：GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：这些函数依靠门机制在文本学习中都有一定的优势。但是，需要注意的是，其中SwiGLU是当前大语言模型时代最火的激活函数！！！！！
从ReLU到GELU，一文概览神经网络的激活函数
Paper weekly
12-21 1718
激活函数对神经网络的重要性自不必多言，机器之心也曾发布过一些相关的介绍文章，比如《一文概览深度学习中的激活函数》。本文同样关注的是激活函数。来自丹麦技术大学的 Casper Hansen...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将仿射函数进行非线性化，可以拟合出更多的情况。更详细的解答可以参考知乎激活函数的解释 ReLU函数的梯度问题 首先谈一下sigimoid函数的梯度，通常不选用它是因为sigmoid函数可能有梯度消失的情况，原因可以看它的梯度函数图 可以看到蓝色的线是sigmoid函数图像，橘色的线是它的梯度图。当输入值特别大或者特别小的时候，sigmoid函
SwiGLU论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-07 2543
是2019年提出的新的激活函数，它结合了和两种者的特点。
使用Colossal-AI复现Pathways Language Model
luchentech的博客
04-28 1415
Colossal-AI带你尝鲜谷歌最新研究成果paLM!
深入理解LLaMA, Alpaca, ColossalChat 系列模型
zenRRan的博客
04-04 9193
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885一、从 LLaMA 到 Alpaca：大模型的小训练1.1 LLaMA 概要与实践LLaMA(Large Language Model Meta AI) 是由 Meta AI 发布了一款全新的大型语言模型，共有7B、13B、33B、65B 四种版本，其模型参数如下表所示：与原始的 transformer De...
激活函数之ReLU函数
热门推荐
tian_panda的博客
08-27 8万+
0 前言 激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机 加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函...
GELU激活函数
qq_41296039的博客
04-14 4705
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
Pytorch中的激活函数
01-20
介绍神经网络的时候已经说到，神经元会对化学物质的刺激进行，当达到一定程度的时候，神经元才会兴奋，并向其他神经元发送信息。神经网络中的激活函数就是用来判断我们所计算的信息是否达到了往后面传输的条件。 为什么激活函数都是非线性的 因为如果使用线性的激活函数，那么input跟output之间的关系始终为线性的，这样完全可以不使用网络结构，直接使用线性组合即可。 所以需要激活函数来引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数，在隐含层都使用非线性激活函数. 常见的激活函
pytorch方法测试——激活函数(ReLU)详解
09-18
今天小编就为大家分享一篇pytorch方法测试——激活函数(ReLU)详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于激活函数
01-07
1.为什么要使用激活函数 因为线性函数能拟合的模型太少，多层线性神经网络的叠加仍为线性，加上非线性可以改善拟合效果。 2.激活函数的要求 非线性，可微（反向传播）。 3.常用的激活函数 Sigmoid 能够把输入的连续实值变换为0和1之间的输出。 缺点：当输入值特别大或特别小时函数的梯度会很小（函数的斜率接近0），这样会降低梯度下降算法的效率，当神经网络层数过多时容易导致梯度消失。 tanh 能够把输入的连续实值变换为-1和1之间的输出。 tanh几乎在所有情况下的表现都比sigmoid好，因为它的输出值介于-1到1，激活函数的平均值更接近于0，这样可以达到类似zero-centered（数
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
Meta最新模型LLaMA细节与代码详解
weixin_44826203的博客
03-06 2万+
本文对Facebook Meta AI最新提出的大语言模型LLaMA进行简单的介绍，以及对其开源出的代码和细节进行了详细的说明。
Meta最新模型LLaMA详解（含部署+论文）
学姐带你玩AI的博客
05-11 5942
本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。向量空间中词表示的有效估计Hugo Touvron等Meta AI2023 arxivChatGPT相关工具：https://github.com/pengwei-iie/A_survey_and_tools_of_ChatGPT不过貌似好多都很麻烦，要部署，直接能用的没看见。。。「什么是LLaMA：」
keras conv3d激活函数leakyrelu
06-06
在深度学习模型中，激活函数是非常重要的一部分，它负责将神经元的输入转换为输出。其中，relu函数是最常用的激活函数之一，但它存在一个问题，就是当输入的值小于0时，它的导数为0，从而导致无法更新权重，这就是所谓的“死亡神经元”问题。 为了解决这个问题，Keras中引入了LeakyReLU激活函数。它在输入小于0时，不再是直接输出0，而是输出一个小的负数。这个小的负数可以是输入的一部分，比如0.1倍，从而保证在输入小于0的情况下，梯度不会为0，权重得以更新，避免了死亡神经元问题的出现。 对于Keras中的Conv3D层，LeakyReLU激活函数同样适用。由于Conv3D处理的是三维空间的数据，因此LeakyReLU的输入输出也是三维张量。在使用时，我们可以通过指定alpha参数来控制负数输出的比例。例如，设置alpha=0.2表示在负数输入时，输出的值为输入的0.2倍，可以根据具体情况进行调整。 总之，LeakyReLU激活函数的引入解决了relu函数存在的“死亡神经元”问题，并且在Conv3D层中同样适用，是一种常用的激活函数之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

#苦行僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值