深度学习部分激活函数

最新推荐文章于 2024-08-08 21:16:11 发布
最新推荐文章于 2024-08-08 21:16:11 发布
阅读量94 收藏
点赞数 1
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73539893/article/details/132874050
版权
本文概述了sigmoid、ReLU、Tanh、LeakyReLU、Swish和mish等常见的神经网络激活函数，讨论了它们的公式、优点（如计算效率和缓解梯度消失）以及适用场景，重点强调了ReLU的替代选项以提高网络性能。
摘要由CSDN通过智能技术生成

一.sigmoid

函数公式:{\sigma (x)}=\frac{1}{1+{e}^{-x}}

因此图像如图，摘自知乎(侵删)

压缩函数

sigmoid将数值压缩到(0,1)

激活函数

sigmoid是一个非线性函数，输出将是一个非线性的加权和(下一个神经元)输入，

二.ReLU

替换了sigmoid，由于sigmoid的计算量大，反向传播计算量大。

并且sigmoid容易出现梯度消失的情况

ReLU可以时部分输出为0，可以使得网络变得稀疏，减少参数的依存性，缓解过拟合

公式：{f(x)}=max(0,x)

三.Tanh(双曲正切函数)

公式如下:tanh(x)=\frac{​{e^x}-{e^{-x}}}{​{e^x}+e^{-x}}

图像

四.Leaky ReLU

公式:LeakyReLU=\left\{ \begin{array}{rcl} x&x>0\\ \alpha x&x\leq 0 \end{array} \right.

特点

1）Leaky ReLU函数通过把x xx的非常小的线性分量给予负输入0.01 x 0.01x0.01x来调整负值的零梯度问题。
2）Leaky有助于扩大ReLU函数的范围，通常α \alphaα的值为0.01左右。
3）Leaky ReLU的函数范围是负无穷到正无穷。
 

五.Swish函数

f(x)=x*sigmoid(x)=\frac{\beta x}{1+e^{-\beta x}}

swish激活函数_swish函数-CSDN博客

六.mish函数

mish激活函数_帮我用matlab语言绘制mish激活函数-CSDN博客

公式:f(x)=x*\frac {(1+e^x)^2 -1}{(1+e^x)^2 +1}

y = x*tanh(ln(1+exp(x)))

与星以舟4
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习（激活函数）
weixin_65089713的博客
04-02 3148
目录 1 神经元的一般模型 ​2 激活函数的特点 3 常见激活函数 3.1 sigmoid及其改进型 3.1.1sigmoid介绍 3.1.2 sigmoid的导数介绍 3.1.3 Mesh 3.1.4 swish 3.2 relu及其改进型 3.2.1relu 介绍 3.2.2 relu的导数介绍 3.2.3 Leaky relu 3.2.4 Prelu 3.2.5 ELU 4 软饱和硬饱和 5 激活函数的选择 1 神经元的一般模型 一个基本的架构就是多个...
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
深度学习中激活函数的用途
githubcurry
11-16 4969
激活函数，即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函数，也是可以的。它的目的是为了使数据更好的展现出我们想要的效果。激活函数决定了某个神经元是否被激活，当这个神经元接受到的信息是有用或者无用的时候，激活函数决定了对这个神经元接收到的信息是留下还是抛弃。
深度学习-激活函数
无能狂怒博客
10-24 1833
激活函数
深度学习：激活函数
热门推荐
皮皮blog
05-04 3万+
激活函数神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 为什么要用激活函数神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模
深度学习基础笔记——激活函数
MengYa_Dream的博客
08-15 2660
1 激活函数的概念 2 激活函数意义 3 激活函数是非线性函数原因 4 常见的激活函数及导数 A sigmoid 激活函数 B tanh激活函数——双曲正切函数 C Relu激活函数——优先选择 D Leaky Relu激活函数（PReLU） E ELU激活函数 5 激活函数的性质 6 激活函数的选择 7 Softmax函数 A Softmax函数定义（以第 i 个节点输出为例） B Softmax函数求导 8 交叉熵代价函数定义及其求导推导
深度学习中的激活函数
qq_34498798的博客
03-08 1529
深度学习中的激活函数sigmoidsoftmax新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入   神经网络用于实现复杂的函数，而非线性激活函数能够使神经网络逼近任意复杂的函数。如果没有激活函数引入的非线性，多层神经网络就
【深度学习】激活函数合集
AI爱好者的博客，分享计算机领域相关知识
03-18 2200
神经网络中激活函数的主要作用是提供网络的非线性建模能力，本文包含23种激活函数及其对应的函数图像，也给出pytorch对应的示例可视化代码。
深度学习入门之激活函数
weiwei152433的博客
11-19 1649
将输入信号的总和转换为输出信号，这种函数一般称为激活函数(activation function)。激活函数作用在于决定如何来激活输入信号的总和。激活函数作为感知机和神经网络的桥梁。它的出现使得输出从单一变为数值化。激活函数以阈值为界，一旦输入超过阈值，就切换输出，这样的函数称为‘阶跃函数’。因此，可以说感知机中使用了阶跃函数作为激活函数。接下来，简单介绍一下激活函数的种类。
深度学习中常用的激活函数
DeepDriving
07-15 1829
本文介绍了深度学习中常用的几种激活函数
深度学习之激活函数——Tanh
m0_61787307的博客
05-14 1094
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
深度学习常用激活函数代码.docx
06-08
深度学习常用激活函数代码 深度学习中，激活函数是神经网络中非常重要的一个组件，它可以引入非线性关系使得模型具有更好的表达能力。常用的激活函数有sigmoid、tanh、ReLU等。 1. sigmoid 函数： sigmoid函数是...
深度学习常用激活函数.docx
06-08
深度学习中，激活函数是神经网络中非常重要的一部分，它们可以引入非线性因素，使神经网络能够学习和表示更加复杂的关系。常用的激活函数有sigmoid、tanh、ReLU、PReLU、ELU、softplus等。 1. sigmoid函数 sigmoid...
深度学习算法的激活函数研究.pdf
08-18
激活函数是深度学习算法中的一种重要组成部分，可以引入非线性因素，提高算法的优化和泛化能力。大量学者通过提出或改进激活函数的方法提高了算法的优化和泛化能力。 激活函数可以大致分为S 系激活函数和 ReLU 系...
(BO)Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码
small_ccb的博客
08-08 197
Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码。2️⃣、评价指标包括:R2、MAE、MSE、RMSE等，图很多，符合您的需要。4️⃣、赠送测试数据集，可以直接运行源程序。替换你的数据即可用 适合新手小白。1️⃣、运行环境要求MATLAB版本为2018b及其以上。数据格式为excel！3️⃣、代码中文注释清晰，质量极高。需要其他的都可以定制！
【AI-16】浅显易懂说一下RNN和Transformer
qq_45611002的博客
08-08 605
循环神经网络（RNN）曾经是自然语言处理领域的主流，但它们面临着长距离依赖和梯度消失等问题，限制了其在处理长文本序列时的表现。随后，Transformer模型的出现改变了这一局面。
第R2周：LSTM-火灾温度预测：一文搞懂LSTM（长短期记忆网络）
lihuhelihu的博客
08-07 720
LSTM在许多问题上效果非常好，现在被广泛使用。长期依赖问题： 在传统的RNN中，当序列非常长时，网络往往会遇到梯度消失或梯度爆炸的问题，导致难以捕捉到序列中长距离的依赖关系。因此，LSTM通过引入门控结构和细胞状态，有效地解决了传统RNN在处理长序列数据时遇到的梯度消失、长期依赖等问题，使得其在语言建模、时间序列预测、机器翻译等任务中取得了显著的进展。●问题描述：RNN在处理长序列时，由于信息的传递是通过隐藏状态进行的，随着时间的推移，较早时间步的信息可能会在传递到后面的时间步时逐渐消失或被覆盖。
冠豪猪优化算法（CPO）、卷积神经网络（CNN）与支持向量机（SVM）结合的预测模型（CPO-CNN-SVM）及其Python和MATLAB实现
最新发布
qq_45441438的博客
08-08 1102
然而，传统的CNN模型通常需要大量的标注数据和长时间的训练，且对特征的选择和模型参数的调优敏感。3. **处理复杂数据**：在面对高维、非线性的数据时，如图像数据，简单的算法往往无法得到令人满意的结果，而CNN-SVM的组合可以更好地拟合这些数据。1. **提升准确率**：将CNN与SVM相结合能够充分利用CNN的特征提取能力和SVM的分类能力，从而提高模型的预测准确度。3. **扩展性**：未来可以将此模型推广到其他任务中，如语音识别、文本分类等，通过增加更多的输入特征提升模型的泛化能力。
基于深度学习的Dst 预报模型
u014546828的博客
08-07 863
The Astrophysical Journal Supplement Series, 248:14 (11pp), 2020 MayPrediction of the Dst Index with Bagging Ensemble-learning Algorithm (iop.org)AbstractThe Dst index is a commonly geomagnetic index used to measure the strength of geomagnetic activity. Th
深度学习的激活函数用来干嘛
05-13
深度学习模型中的激活函数一般用来引入非线性特性，从而使得模型可以更好地拟合非线性函数关系。它们将输入的加权和进行非线性变换，产生输出。如果没有激活函数，网络的输出将是输入的线性函数，无法表达更加复杂的模式和关系。常用的激活函数包括sigmoid、ReLU、tanh等，它们各自有不同的特点和应用场景。通过选择合适的激活函数，可以提高模型的性能和训练速度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值