激活函数变种(Sigmoid、Hard-Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、SELU、ReLU6、Swish、Hard-Swish、Mish)

最新推荐文章于 2024-08-02 19:49:27 发布
最新推荐文章于 2024-08-02 19:49:27 发布
阅读量8.2k 收藏 59
点赞数 9
分类专栏： 深度学习+torch专栏 文章标签： 激活函数 激活函数变种
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42308217/article/details/121089509
版权
激活函数的作用：提供网络的非线性表达建模能力。
  • 线性可分数据：可以通过机器学习(感知机、SVM)找到的线性方程来进行划分。
  • 非线性可分数据：找不到一种线性方程来划分数据，此时需要引入非线性函数。
    在这里插入图片描述
什么样的激活函数是好的激活函数：有上界，无下界，连续，非单调，响应均值为0，无梯度消失和梯度爆炸，易于计算。

Sigmoid

在这里插入图片描述
图中，梯度软饱和表示区域零但是没有到0；输出均值不为0，则网络收敛较慢。

Hard-Sigmoid

在这里插入图片描述

Tanh

在这里插入图片描述

Hard-Tanh

在这里插入图片描述

ReLU

在这里插入图片描述

Leaky ReLU(a为人为设置)和PReLU(a为学习获得)

在这里插入图片描述

ELU

在这里插入图片描述

SELU

在这里插入图片描述

ReLU6

在这里插入图片描述

Swish

在这里插入图片描述

Hard-Swish

在这里插入图片描述

Mish

在这里插入图片描述

总结

  • 在深度不是特别深的CNN中，激活函数的影响一般不会太大。
  • 网络输出层使用Sigmoid
  • 网络中间层优先使用ReLU
  • 深层网络使用Mish、Swish
  • float16/int8时使用ReLU6
  • 轻量级网络可以将Sigmoid换成Hard-Sigmoid，Swish换成Hard-Swish
@会飞的毛毛虫
关注
专栏目录
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数...
常用的激活函数
weixin_50644076的博客
02-28 1860
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
最新发布
生活需要深度
08-02 784
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。可在嵌入式上使用：swish非线性激活函数提高了检测精度，但不适合在嵌入式移动设备上使用，因为“S”型函数在嵌入式移动设备上的计算成本更高，求导较为复杂，在量化时计算较慢。在输入小于-1时，输出值将被固定为-1，在输入大于1时，输出值将被固定为1。非线性性：尽管HardTanh函数在输入在[-1,1]之间是线性的，但它在输入小于-1和大于1时是非线性的，因此可以引入一些非线性特性，有助于提高模型的表达能力。
深度学习中常见的10种激活函数（Activation Function）总结
不想学习的打工人的博客
08-30 3万+
​ 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。 ​
激活函数（26个）
梁小憨憨的博客
01-20 2273
最近在学习网络，发现一会这个网络用了这个激活函数，一会那个网络用了那个激活函数，这些激活函数都有什么作用啊，不知道，这里学习一下，整理下来，方便以后查阅。
常用的激活函数合集（详细版）
caip12999203000的博客
09-27 4万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
23种激活函数
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
神经网络最全激活函数，包括sigmoid，tanh，ReLU，ELU，P
06-23
本篇文章将详细介绍标题中提到的几种激活函数：sigmoid、tanh、ReLU、ELU、PReLU以及softplus，同时也会提及线性激活函数。 1. **Sigmoid函数**： Sigmoid函数是最早被广泛使用的激活函数之一，其公式为`f(x) = 1 ...
神经网络最全激活函数，包括sigmoid，tanh，ReLU，
06-23
Tanh函数是Sigmoid的变种，其公式为`f(x) = (e^x - e^(-x)) / (e^x + e^(-x))`，其输出范围在(-1,1)之间。相比Sigmoid，tanh有更好的中心化特性，平均输出接近于0，有助于缓解训练过程中的偏置问题。但同样面临梯度...
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
文档：激活函数的比较和优缺点sigmoid tanh relu.docx
06-18
【文档概述】 这篇文档主要探讨了深度...对于深度网络，ReLU及其变种如Leaky ReLU和ELU通常更受欢迎，因为它们可以更好地处理梯度消失问题。Softmax在多分类问题中是不可或缺的，而Sigmoid在特定场景下仍有其价值。
【概念梳理】激活函数
zhangyonghui007的博客
04-08 2522
多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（Activation Function）。
激活函数(sigmoid、tanh、ReLU、softmax)
tcn760的博客
04-07 8万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
常用激活函数总结（深度学习）
weixin_44646390的博客
11-18 1万+
常用激活函数总结
常用激活函数（激励函数）理解与总结
热门推荐
tyhj_sf的博客空间
05-13 34万+
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内容对你是有...
【深度学习】之激活函数篇[Sigmoid、tanh、ReLU、Leaky ReLU、Mish、Hardswish、SiLU]附绘图Python代码。
weixin_46716951的博客
04-20 1万+
激活函数的作用 为卷积神经网络提供非线性 1、Sigmoid激活函数 Sigmoid激活函数是常用的连续、平滑的“s”型激活函数，其数学定义比较简单，如公式1所示： 简单来说，Sigmoid函数以实数输入映射到（0,1）区间，用来做二分类。对于一个极大的负值输入，它输出的值接近于0；对于一个极大的正值输入，它输出的值接近于1。 Sigmoid激活函数曾一度被不同的网络使用，从Sigmoid及其导数曲线图可知，当输入的值非常小或者非常大时，其Sigmoid输出的值接近0或者1，当Sigmoid函数的前一层
激活函数和最常用的10个激活函数
Laok0413的博客
07-22 4842
激活函数是一种添加到ANN中的函数，它决定了最终要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。因此，激活函数是确定神经网络输出的数学方程式。...
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7466
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
绘制5种常见激活函数的图：Sigmoid 激活函数、tanh 激活函数、ReLU 激活函数、Leaky ReLU激活函数、ELU激活函数使用python实现
08-02
以下是使用Python绘制5种常见激活函数的图的代码： ```python import numpy as np import matplotlib.pyplot as plt # Sigmoid 激活函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) # tanh 激活函数 def tanh(x): return np.tanh(x) # ReLU 激活函数 def relu(x): return np.maximum(0, x) # Leaky ReLU 激活函数 def leaky_relu(x, alpha=0.01): return np.maximum(alpha * x, x) # ELU 激活函数 def elu(x, alpha=1.0): return np.where(x > 0, x, alpha * (np.exp(x) - 1)) # 生成 x 值 x = np.linspace(-10, 10, 100) # 绘制激活函数图像 plt.figure(figsize=(10, 6)) plt.plot(x, sigmoid(x), label='Sigmoid') plt.plot(x, tanh(x), label='tanh') plt.plot(x, relu(x), label='ReLU') plt.plot(x, leaky_relu(x), label='Leaky ReLU') plt.plot(x, elu(x), label='ELU') plt.xlabel('x') plt.ylabel('Activation') plt.title('Activation Functions') plt.legend() plt.grid(True) plt.show() ``` 希望这个代码可以帮助你绘制出Sigmoid、tanh、ReLU、Leaky ReLU和ELU激活函数的图像。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@会飞的毛毛虫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值