小结：常用激活函数

最新推荐文章于 2024-08-01 19:57:56 发布
最新推荐文章于 2024-08-01 19:57:56 发布
阅读量1k 收藏 4
点赞数
分类专栏： 深度学习 文章标签： 神经网络 tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liz_Lee/article/details/107532341
版权
本文介绍了神经网络中常用的激活函数，包括sigmoid、tanh、ReLU及其多种变体，如Swish、Mish、Leaky ReLU等。讨论了它们的概念、优缺点，并探讨了激活函数在神经网络中的作用，如非线性转换、梯度计算和防止梯度消失等问题。
摘要由CSDN通过智能技术生成

目录

0 基础

0.1 what激活？

在NN的神经元上运行的函数，负责将神经元的输入映射到输出

0.2 why激活？

没有激活，每层的输出都是上层的线性组合，整个NN的输出就是输入的线性组合，无法逼近任意函数

0.3 激活的特性？

（1）非线性
（2）可微性：GD的要求
（3）单调性：保证单层NN是凸函数
（4）输出范围：
有限时，基于梯度的优化，更稳定
无限时，训练高效，用小的lr

1 sigmoid

1.1 概念

在这里插入图片描述
在这里插入图片描述
定义域：(-∞,+∞)
值域：(0,1)
在定义域内，是连续、光滑的函数
处处可导，导数为 f’(x) = f(x)*(1-f(x))

1.2 优点

（1）实现非线性变换
（2）梯度容易计算
（3）可以进行数据压缩

1.3 缺点

双边饱和，易出现梯度消失

1.4 sigmoid变体

1.4.1 Swish

无上界、平滑、单调
在这里插入图片描述
下图中，β=1
在这里插入图片描述
在这里插入图片描述

1.4.2 logSigmoid

在这里插入图片描述
在这里插入图片描述

2 tanh（双曲正切）

2.1 概念

TanHyperbolic
在这里插入图片描述

在这里插入图片描述
定义域：(-∞,+∞)
值域：(-1,1)
在定义域内，是连续、光滑的函数
处处可导，导数为 f’(x) =1-f2(x)

tf.nn.tanh

2.2 优点

（1）实现非线性变换
（2）梯度容易计算
（3）可以进行数据压缩
（4）近0处，梯度比sigmoid大，收敛快
&#x

最低0.47元/天 解锁文章
liz_lee
关注
专栏目录
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 3349
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
常见的激活函数
余生的博客
09-13 448
Sigmoid函数： Sigmoid 是常用的非线性的激活函数，可以将全体实数映射到（0， 1）区间上，其采用非线性方法将数据进行归一化处理；sigmoid函数通常用在回归预测和二分类（即按照是否大于0.5进行分类）模型的输出层中。 函数： 求导： 优点： Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化、 Sigmoid求导比较容易，可以直接推导得出。**缺点：**Sigmoid函数收敛比较缓慢、由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上si
激活函数总结（二）：ELU、SELU、GELU激活函数
最新发布
生活需要深度
08-01 1104
SELU是对ELU激活函数的改进，通过引入自标准化机制，使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。注意：对于ELU激活函数，之前看到一个博主的实验中曾介绍了：ReLU+BN的效果远远大于 ELU 的效果 同时远大于 ELU+BN的效果！高斯分布：GELU激活函数的输出在输入接近于0时接近于高斯分布，这有助于提高神经网络的泛化能力，使得模型更容易适应不同的数据分布。
常见激活函数
Kaiyin
02-01 194
欢迎加入：人工智能学习圈
美！最常用的10个激活函数！
Oner.wv的专栏
07-26 2121
作者丨SukanyaBag 编译 | 机器之心在reddit上刷到一张非常形象mó xìng的图。那就让我们来整理一下深度学习中离不开的激活函数！激活函数（Activation ...
神经网络激活函数有哪些,神经网络中的激活函数
神经网络爱好者
08-12 559
比如如下的梯度计算：如果不巧我们的样本导致每一层的梯度都小于1，则随着反向传播算法的进行，我们的δl会随着层数越来越小，甚至接近越0，导致梯度几乎消失，进而导致前面的隐藏层的W,b参数随着迭代的进行，几乎没有大的改变，更谈不上收敛了。简单理解，就是在反向传播的算法过程中，由于我们使用了是矩阵求导的链式法则，有一大串连乘，如果连乘的数字在每层都是小于1的，则梯度越往前乘越小，导致梯度消失，而如果连乘的数字在每层都是大于1的，则梯度越往前乘越大，导致梯度爆炸。同样的，当z的取值越来越小时，也有这个问题。...
深度学习(1)-深度学习中的核函数（激活函数）
一只飞鱼的博客
12-10 9541
1.核函数的作用与损失函数的设计核函数（kernel method,kernel trick）是机器学习中一种重要的方法。一般定义是将原始表达转换到一个隐式特征空间去，该空间具有更好的特征可分性质。 在机器学习中，（一层线性卷积结构+一层核函数）*N的特殊结构，能拟合任何函数的原因。但如果只有N层的线性结构，那最后的组合还是线性结构，就相当于以前的感知机（perceptron)。使得类似神经网络结
深度学习与卷积神经网络：如何选择合适的激活函数
![激活函数](https://bios691-deep-learning-r.netlify.app/slides/img/activation.png) # 1. 深度学习基础与卷积神经...卷积神经网络由卷积层、激活函数、池化层、全连接层等多个组成部分构成。其核心思想是利用卷积运
几种常见激活函数(笔记整理)
热门推荐
u010513327的博客
02-26 3万+
活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型. (1)Sigmoid函数 左端趋近于0，右端趋近于1，且两端都趋于饱和. 关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html 如果我们初始化神经网络的权值为 ...
深度学 习最常用的10个激活函数！
AI蜗牛车
06-29 462
作者丨SukanyaBag 编译 | 机器之心在reddit上刷到一张非常形象mó xìng的图。那就让我们来整理一下深度学习中离不开的激活函数！激活函数（Activation ...
ECCV 2020，在视觉任务上大幅超越ReLU的新型激活函数
旷视开发者技术社区
11-04 400
“15分钟看顶会”是旷视研究院全新推出的论文快速解读专栏，聚焦旷视在全球各大顶会、期刊等平台所发表的工作，覆盖深度学习、计算机视觉、视觉导航与控制、计算摄影学、大规模机器学习系统、机器人...
最新的激活函数如何选择
一千世界
09-11 261
激活函数其实并不简单：最新的激活函数如何选择？ (qq.com)
激活函数
blue‘s blog
09-04 185
常用的激活函数有： sigmoid(x)=11+e−xsigmoid(x)=\frac{1}{1+e^{-x}}sigmoid(x)=1+e−x1​ - 导数：s′=s(1−s)s^{'}=s(1-s)s′=s(1−s) tanh(x)=ex−e−xex+e−xtanh(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}tanh(x)=ex+e−x...
一文带你梳理常见的激活函数
weixin_38646522的博客
05-10 693
一文梳理常见的激活函数 1. 为什么要有激活函数 若网络中不用激活函数，那么每一层的输出都是输入的线性组合。无论神经网络有多少层，网络的输出都是输入的线性组合，这种网络就是原始的感知机（PerceptronPerceptronPerceptron）。若网络没有激活函数，则每层就相当于矩阵相乘，深层神经网络，无非是多矩阵相乘。 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。网络使用非线性激活函数后，可以增加神经网络模型的非线性因素，网络可
激活函数总结(Sigmoid、Tanh、Relu、LeakyRelu、pRelu、Elu、softplus)
修行之路
05-26 1676
激活函数总结(Sigmoid、Tanh、Relu、LeakyRelu、pRelu、Elu、softplus)
激活函数：非线性转折的关键
神经网络中的激活函数起着至关重要的作用，它就像给神经网络模型添加“灵魂”一样，让模型具有处理非线性问题的能力。首先，理解激活函数的核心概念，它是解决线性模型无法解决的复杂分类问题的关键。在二分类任务中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值