常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码

最新推荐文章于 2024-07-31 15:02:43 发布
最新推荐文章于 2024-07-31 15:02:43 发布
阅读量1.4k 收藏 10
点赞数 2
分类专栏： 面试 学习路线 阿里巴巴 文章标签： python 深度学习 人工智能 java-ee sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/emgexgb_sef/article/details/125402160
版权
激活函数是神经网络中的关键组成部分，引入非线性，帮助模型逼近复杂函数。本文对比了常见的激活函数，如Softmax适合多分类任务，Sigmoid在二分类和模型隐藏层应用，Tanh在回归任务和隐藏层，ReLU用于卷积网络，而Leaky ReLU解决了ReLU的硬饱和问题。同时，每个函数都有其优缺点，如梯度消失和神经元死亡等挑战。最后提供了激活函数图像的Python绘制代码。
摘要由CSDN通过智能技术生成

激活函数是确定神经网络输出的数学方程式。

激活函数的作用：给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。

1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。

2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。

常用非线性激活函数对比

激活函数

公式

函数图像

适合场景

Softmax

Softmax({?{z}_{i}})=rac{exp({?{z}_{i}})}{sum olimits_{j}{exp({?{z}_{j}})}}

多分类任务输出层

Sigmoid

f(z)=rac{1}{(1+{?{e}^{-z}})}

二分类任务输出层，模型隐藏层

Tanh

tanh(x)=rac{1-{?{e}{-2x}}}{1+{?{e}{-2x}}}=rac{2}{1+{?{e}^{-2x}}}-1

ReLU

ReLU(x)=max(0,x)

回归任务，卷积神经网络隐藏层

Leaky ReLU

最低0.47元/天 解锁文章
emgexgb_sef
关注
专栏目录
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1387
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
常用的激活函数（Sigmoid、Tanh、ReLU等）
热门推荐
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
常用激活函数（Sigmiod、Tanh、Softmax、ReLU、elu、LReLU、Softplus）函数表达式、特点、图像绘制（代码）---已解决
喵喵love的博客
01-02 5007
楼主最近在研究激活函数，索性将常用的激活函数进行了简单的整理，方便以后翻看，也希望能帮到你。 1、sigmoid函数 函数表达式：f(x) = 1/(1+e^-x) 函数特点： 优点：1.输出[0,1]之间；2.连续函数，方便求导。 缺点：1.容易产生梯度消失；2.输出不是以零为中心；3.大量运算时相当耗时（由于是幂函数）。 函数定义： def sigmoid(x): y = 1/(1+np.exp(-x)) return y 2、tanh函数 函数表达式：f(x) = (e.
激活函数--1.ReLu（）函数
xianghu_5的博客
05-17 3155
ReLU()函数
SoftMax函数
最新发布
SisterRu的博客
07-31 477
Softmax函数是一种常用于多类分类任务的激活函数，其主要作用是将一个实数向量转换成一个概率分布。每个元素的值在(0)到(1)之间，并且所有元素的和为(1)。
python3实现softmax + 函数曲线绘制
葡萄数的博客
12-04 9178
python3实现softmax + 函数曲线绘制 import numpy as np # 实现方法1 def softmax(x): return np.exp(x)/np.sum(np.exp(x), axis=0) # 是想方法2 def softmax2(x): """Compute softmax values for each sets of scores in ...
python实现 softmax激活函数
11-28 1140
softmax函数 >>> a = np.array([0.3,2.9,4.0]) >>> exp_a=np.exp(a) >>> print(exp_a) [ 1.34985881 18.17414537 54.59815003] >>> sum_exp_a = np.sum(exp_a) >>> print(sum_exp_a) 74.1221542101633 >>> y=exp_a/sum_
ReLU激活函数
thy0000的博客
10-11 985
ReLU（Rectified Linear Unit）激活函数是深度学习中最常用的激活函数之一，它的数学表达式如下：在这里，(x) 是输入，(f(x)) 是输出。ReLU激活函数的使用非常简单，它将输入(x)的所有负值变为零，而保持正值不变。这个激活函数具有以下用途和优点：（1）：ReLU引入了非线性性质，使神经网络可以学习和表示非线性函数关系。这对于捕捉复杂的数据模式和特征非常重要。（2）：ReLU计算非常简单，因为它只涉及一个比较和一个取最大值的操作。这使得训练神经网络更加高效。（3）
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 3563
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
python_softmax_手写识别.rar
03-20
使用softmax，完成0-9数字图片的分类识别。正确率在0.75以上，按实际测试结果为准，随便上传供大家参考学习
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 2700
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
Softmax 激活函数
qq_40794377的博客
04-23 642
https://blog.csdn.net/Softdiamonds/article/details/80101440
3 神经网络基础（阶跃、sigmoid、relu激活函数的代码实现）
UP Lee博客
01-03 2755
目录 1、 输入权重计算 2、与门的实现 3、非门的实现 4、或门的实现 5、感知机可以实现与、或、非门的逻辑     6、阶跃函数的实现 7、sigmoid 函数的实现 8、阶跃函数和sigmoid函数相比较 9、ReLU函数 1、 输入权重计算 import numpy as np x=np.array([0,1])  # s输入 w=np.array([0.5,0.5...
3、ReLU激活函数
u013049912的博客
01-12 659
ReLu、LeakReLu、PReLu、ELU、SELU激活函数
python画图代码对比_【Python 代码】CS231n中Softmax线性分类器、非线性分类器对比举例（含python绘图显示结果）...
weixin_33817046的博客
01-30 212
1 #CS231n中线性、非线性分类器举例(Softmax)2 #注意其中反向传播的计算34 #-*- coding: utf-8 -*-5 importnumpy as np6 importmatplotlib.pyplot as plt7 N = 100 #number of points per class8 D = 2 #dimensionality9 K = 3 #number of c...
【模型函数】之 Activation 和 Softmax
化甘
11-28 4227
文章目录激活函数 Activation functionsSigmoidTanhReluLinearSoftmax 激活函数 Activation functions 解决非线性问题。 Sigmoid Tanh Relu Linear Reference: 常见的激活函数: https://zhuanlan.zhihu.com/p/70810466 Softmax softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ ...
经典激活函数代码实现—relu、sigmoid、tanh、softplus、softmax
anny_bili的博客
05-24 4624
经典激活函数代码实现与函数经典激活函数reLUsoftplustanhsigmoidsoftmax代码实现图像绘制结果 经典激活函数 relu、softplus、tanh、sigmoid、softmax reLU 线性整流函数（Rectified Linear Unit, ReLU） f(x)=max(0,x)f(x) = max(0,x)f(x)=max(0,x) 而在神经网络中，Relu作为神经元的激活函数，定义了该神经元在线性变换wx+bwx+bwx+b之后的非线性输出结果。换言之，对于进入神经元的
lstm模型不同激活函数代码
05-03
以下是LSTM模型的不同激活函数的代码示例： 使用sigmoid作为激活函数： ``` python from keras.models import Sequential from keras.layers import LSTM, Dense model = Sequential() model.add(LSTM(32, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值