神经网络反向传播(2)--激活函数求导汇总

于 2022-11-14 11:11:10 发布
阅读量616 收藏 2
点赞数
分类专栏： 神经网络反向传播 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cymatt/article/details/127843029
版权

神经网络中常用的激活函数主要有tanh、sigmoid、softmax、Relu等，在反向传播过程中的链式求导时，我们也需要对激活函数进行求导，在此整理常用的激活函数导数推导后的结果，方便在神经网络反向传播计算时使用。（注：无推导过程）

tanh函数

函数表达式为

f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}

求导后导数表达式为

f^{'}(x)=1-tanh(x)^2

sigmoid函数

函数表达式为

f(x)=\frac{1}{1+e^{-x}}

求导后导数表达式为

f^{'}(x)=f(x)*(1-f(x))

softmax函数

函数表达式为

S_i=\frac{e^i}{\sum _je^j}

求导后导数表达式为

S^{'}_j=\left\{ \begin{aligned} S_j*(1-S_j), i=j \\ -S_j*S_i, {i}\neq{j}\\ \end{aligned} \right.

ReLU函数

函数表达式为

f(x)=\left\{ \begin{aligned} 0 , {x}\leq{0} \\ x,{x}\geq{0}\\ \end{aligned} \right.

求导后导数表达式为

f^{'}(x)=\left\{ \begin{aligned} 0 , {x}\leq{0} \\ 1,{x}\geq{0}\\ \end{aligned} \right.

以上为常用的四种激活函数的求导通式，可以方便大家在反向传播计算时使用。

cymatt
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NKUMachineLearning-lab3.2-神经网络反向传播
04-21
- **前向传播函数** `feedForwardProp(Theta1, Theta2, x)`：与之前实验中的前向传播实现类似，但注意这次`x`为二维数组，即传入的是5000×400的特征矩阵。 - **损失计算函数** `nnCostReg(all_theta, x, y, lmd)`：...
ReLU函数详解及反向传播中的梯度求导
热门推荐
BrightLamp的博客
11-21 4万+
1. 定义 ReLU函数, 即线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数. 其定义如下: ReLU(x)={0,x⩽0x,x>0 ReLU(x) = \left\{ \begin{array}{rr} 0, &a
深度学习——神经网络前向传播与反向求导过程
hei653779919的博客
02-01 1957
神经网络基础和反向传播(BP)算法 1. 感知机算法 1.1 单层感知机 单层感知机：以不同的n个实数作为输入，计算这些实数的线性组合，与实现设定好的阈值进行比较，高于设定的阈值，输出1，否则输出-1(输出的结果可以根据实际进行设定) 。下面是一个单层感知机的图示。 上图中，x1,x2,x3,x4是单层感知机的输入，w1,w2,w3,w4是输入在线性组合时候的权重。求和的过程为：∑i=04wix...
神经网络反向传播算法求导过程理解
Rolandxxx的博客
05-19 1243
利用下面两条原则，便可大杀四方。
深度学习代码实践（五）- 从0搭建一个神经网络：从多元方程到梯度下降反向求导
千里之行
11-07 2321
回到多元方程的求解方法 对于构建一个神经网络来说，需要求出每一个神经元的参数。 每一层都有线性变换，加上非线性变换组成。 神经网络的求解变成一个多元方程的求解问题。 图：要求解的线性函数变换（单层） y1 ​= x1​w11 ​ + x2​w21​+ ... + xnwn1 + b1 y2 ​= x1​w12 ​ + x2​w22​ + ... + xnwn2 + b2​ y3​= x1​w13 ​+ x2​w23 ​+ ... + xnwn3...
手动推导softmax神经网络反向传播求导过程——神经网络之softmax(6)
石头的博客
05-09 1315
通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。
backPropagationNN-master_神经网络_反向传播算法_
10-01
**神经网络与反向传播算法详解** 神经网络（Neural Network，简称NN）是一种模仿人脑神经元结构的计算模型，广泛应用于机器学习和深度学习领域。它通过大量的连接权重来模拟神经元间的互动，从而解决复杂的学习任务...
BP人工神经网络-反向传播法-matlab-数据+代码
11-02
总之，这个资料包提供了一个实践BP神经网络的完整案例，结合了数据集和MATLAB代码，对于学习和掌握神经网络的反向传播算法有着极大的帮助。通过对代码的阅读和实验，您可以深入理解神经网络的工作原理，并将其应用到...
神经网络-反向传播算法.zip
最新发布
08-28
2. 神经网络结构定义：定义神经网络的层数、每层的神经元数量以及激活函数，如sigmoid、ReLU等。 3. 前向传播函数：实现输入数据通过网络的传播，计算预测输出。 4. 损失函数：衡量预测输出与实际输出的差距，如均方...
numpy实现神经网络反向传播算法的步骤
09-18
在神经网络中，反向传播算法是用于更新权重和偏置的重要步骤，它基于梯度下降法优化损失函数。在numpy环境下实现神经网络的反向传播，我们可以遵循以下步骤： 1. **网络结构定义**： - 首先，我们需要定义网络的...
反向传播算法推导、激活函数、梯度消失与爆炸
kundezui的博客
09-16 2060
BP算法
BP神经网络的反向求导
treasuresss的专栏
03-05 6152
BP神经网络本文章主要是记录BP神经网络的反向求导的具体过程，主要参考是UFLDL Tutoial。 中文版教程请戳此神经网络经典的神经网络是由多个感知器（神经元）构成的全连接的网络，本质上来说，这样的连接只是简单的线性加权和而已，所以每个神经元加上同一个非线性函数（如sigmoid，tanh等），使得网络能拟合非线性，其中这个非线性函数成为激活函数。符号描述为简便叙述，本文中的神经网络都是最简单
BP反向传播算法之激活函数
HPU_FRDHR的博客
04-02 1668
神经元模型：用数学公式表示为：，f 为激活函数。神经网络是以神经元为基本单元构成的。 激活函数：引入非线性激活因素，提高模型的表达力。 常用的激活函数有 relu、sigmoid、tanh 等。 ① 激活函数 relu: 在 Tensorflow 中，用 tf.nn.relu()表示 ② 激活函数 sigmoid：...
百面机器学习 之 激活函数+反向传播
Francis_s的博客
12-18 2289
考完期末了，final week真的很折磨人，我发现我把书全看了也没我同学光看ppt懂的多，巨多知识点，计算过程在ppt上，我都miss掉了，很气人。还有Tobias，这老师我真的得骂一骂才爽，搞一堆幺蛾子出来，教的课就完全讲不清楚，活该评分低，活该sorry。真的把头都给气歪了 1.软硬饱和函数 假设h（x）是一个激活函数。 1. 饱和 当我们的x趋近于正无穷，h（x）'趋近于0，那么我们称之为右饱和。 当我们的n趋近于负无穷，h（x）'趋近于0，那么我们称之为左饱和。 当一个函...
计算图中的Sigmoid激活函数的反向传播
weixin_44062677的博客
03-13 2843
文章目录前言一、激活函数是什么？二、神经元结构中的激活函数（Sigmoid）1.单个神经元结构的输入输出映射2.神经网络结构的输入输出映射3.Sigmoid激活函数4.Sigmoid层的输入输出映射总结 前言 激活函数是神经网络中必不可少的一个环节，它将输入和输出通过函数映射关联起来，激活函数是非线性函数，例如Relu函数、Sigmoid函数、Tanh函数。 提示：以下是本篇文章正文内容，有些许内容及图片借鉴于《深度学习入门：基于python的理论与实现》，基于自己的理解进行转述。 一、激活函数是什么
神经网络反向求导不可导情况处理
RichardsZ_的博客
08-04 1587
1.激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 针对这种类型的激活函数，可以使用次梯度来解决。 次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。 对于rel
神经网络基础02-激活函数+反向传播算法
Eve_Shieh的博客
04-13 2444
。
反向传播算法-损失函数&激活函数
aohun0743的博客
03-22 1764
在监督学习中，传统的机器学习算法优化过程是采用一个合适的损失函数度量训练样本输出损失，对损失函数进行优化求最小化的极值，相应一系列线性系数矩阵W，偏置向量b即为我们的最终结果。在DNN中，损失函数优化极值求解的过程一般采用梯度下降法、牛顿法或拟牛顿法等迭代方法来迭代完成。对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为反向传播算法，可以使用多种损失函数和激活函数。 1. 均...
吴恩达视频——关于浅层神经网络中tanh(x)与ReLU函数求导问题
nyist_yangguang的博客
12-06 849
https://blog.csdn.net/qq_35200479/article/details/84502844 函数tanh(x)图像：
bp神经网络为什么要对激活函数求导
07-15
在BP神经网络中，对激活函数求导是为了计算梯度，从而进行参数的更新。梯度表示了损失函数对参数的变化率，通过梯度下降算法来最小化损失函数。 在网络的反向传播过程中，我们需要计算每一层的梯度，以便将误差逐层...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值