第五章 误差反向传播法——计算图&链式法则&反向传播&简单层的实现&激活函数层的实现&Affine/Softmax层的实现&误差反向传播法的实现

于 2022-09-15 19:31:21 发布
阅读量385 收藏 1
点赞数 1
分类专栏： 深度学习入门（已完结） 文章标签： 算法 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47687315/article/details/126878002
版权

*数值微分虽然简单，也容易实现，但缺点是计算上比较浪费时间

1.计算图

*正向传播是从计算图出发点到结束点的传播

 *反向传播传递“局部导数”，将导数的值写在箭头的下方

*计算图的优点是，可以通过正向传播和反向传播高效的计算各个变量的导数值

2.链式法则

*链式法则：如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示

3.反向传播

（1）加法节点的反向传播

   加法节点的反向传播只乘以1

（2）乘法节点的反向传播

   乘法节点的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游

4.简单层的实现

（1）乘法层的实现

 （2）加法层的实现

5.激活函数层的实现

（1）ReLU层

如果正向传播时的输入x大于0，则反向传播会将上游的值原封不动地传给下游，如果正向传播时的x小于等于0，则反向传播中传给下游的信号将停在此处

（2）Sigmoid层

6.Affine/Softmax层的实现

*神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”，将仿射变换的处理实现为“Affine层”

*以矩阵为对象的反向传播，按矩阵的各个元素进行计算时，步骤和以标量为对象的计算图相同

*批版的Affine层

 与前面不同的是现在输入的X的形状是（N，2）

*Softmax-with-Loss层（包含作为损失函数的交叉熵误差的Softmax层）

  神经网络中进行的处理有推理和学习两个阶段，神经网络的学习阶段需要Softmax层。

 

 

 神经网络学习的目的就是通过调整权重参数，使神经网络的输出接近监督标签，因此，必须将神经网络的输出与监督标签的误差高效地传递给前面的层，(y1-t1,y2-t2,y3-t3) 正是Softmax层的输出与监督标签的差，直截了当地表示了当前神经网络的输出与监督标签的误差

 

7.误差反向传播法的实现

略

桃桃tao
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习-补充03 神经网络之激活函数(Activation Function)
一个小白
11-01 591
激活函数(Activation Function) 1.为什么需要激活函数？ 激活函数通常有如下一些性质： 非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即f(x)=x），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的。 可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 f(x)≈x 当激活函数满足这个性
105.一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 - 博客园1
08-03
反向传播法（Backpropagation）是神经网络中用于训练多层感知器（Multilayer Perceptron, MLP）的一种核心算法。它基于梯度下降法，通过计算损失函数相对于网络参数的梯度来更新参数，以最小化预测输出与实际输出...
激活函数
zhangyugebb的博客
09-19 206
多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。多层感知机的全连接层和隐藏层都是全连接层。 激活函数：为什么要引入激活函数？ 答：多层感知机的全连接层只是对数据做仿射变换（affine transformation），即线性变换，而多个仿射变换的叠加依然是一个仿射变换，也就是说多层神经网络也就相当于一层。解决这个问题的办法就是在全连接层之间引入非线性变换，即激...
各种激活函数(Activation Function)
ice_martin的博客
08-16 484
原文地址http://blog.csdn.net/cyh_24/article/details/50593400
4.2.2 激活函数
lwycc2333的博客
05-08 215
1.最常用的激活函数ReLU 数学表达式： ReLU(x) = max(0,x) import torch as t from torch import nn from torch.autograd import Variable as V relu = nn.ReLU(inplace=True) # inplace = True代表它会把输出直接覆盖到输入中，这样可以节省内存/显存‘ i...
深度学习_Affine&Softmax-Loss层
liming_2464的博客
07-25 669
Affine层：神经网络在传播时，进行的矩阵乘积运算。 import numpy as np class Affine: # 进行矩阵乘积运算的层 def __init__(self, w, b): self.w = w self.b = b self.x = None self.dw = None ...
一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 .pdf
11-18
这篇文档“一文弄懂神经网络中的反向传播法——BackPropagation”旨在深入浅出地解释这一概念。 首先，我们需要理解神经网络的基本结构。神经网络由输入层、隐藏层和输出层组成，每个层由多个神经元构成，神经元...
matlab实现的两层隐含层BP神经网络
01-18
本篇将详细讲解如何使用MATLAB实现一个具有两层隐含层的反向传播（BP）神经网络，并涉及到梯度下降法以及权值的反向更新。 首先，BP神经网络是监督学习的一种，主要用于解决非线性可分问题。它的结构通常包括输入层...
【神经网络】{6} ——反向传播（学习笔记）
01-20
反向传播算法的核心在于计算误差项δ^(l)_j，它反映了第l层第j个神经元的误差。误差项δ^(l)_j定义为该神经元的激活值a^(l)_j与期望输出之间的差异，乘以激活函数的导数，以考虑非线性的影响。例如，对于sigmoid激活...
numpy实现神经网络反向传播算法的步骤
09-18
这涉及链式法则，通过计算输出层的损失相对于激活函数的梯度，然后逐步回溯到输入层。对于Sigmoid激活函数，其导数是输出值（Sigmoid函数的结果）与（1 - 输出值）的乘积。 7. **权重更新**： - 使用梯度下降法或...
新的激活函数Funnel ReLU和 Dynamic ReLU
yx868yx的博客
09-24 1437
Funnel ReLU 论文地址：https://arxiv.org/pdf/2007.11824.pdf 代码地址：https://github.com/megvii-model/FunnelAct 非线性激活层地作用是对卷积层地线性输出进行非线性变换。比如：ReLU,PReLU,sigmoid等激活函数。详情可看：https://blog.csdn.net/yx868yx/article/details/106583017 FReLU是专门为视觉任务设计的，概念上很简单：ReLU对激活值为非正的部分用0
多分类器softmax——绝对简单易懂的梯度推导
月下花弄影
10-01 1万+
损失函数的计算 首先说明本文解决的是softmax的多分类器的梯度求导，以下先给出损失函数的计算方式： 这里将最终的loss分为4步进行计算，如下所示，当然，这里不解释为什么是这样的计算方式。 注意到，本文并不限制训练样本的数量，训练样本的特征数，以及最后分为几类。 这里x表示输入，w表示权重参数。 说明：这里的x和w的下标表示x的某一行和w的某一列相乘在逐项相加得到s。 然后再根据s计算每一个...
计算图（Computational Graph）的角度理解反向传播算法（Backpropagation）
zxhohai的博客
09-02 7120
最近在回看反向传播算法（Backpropagation，BP算法）时，注意到目前各大深度学习框架如Tensorflow，Theano，CNTK等都以计算图（Computational Graph）作为描述反向传播算法的基础。 计算图 计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（sca...
激活层函数和affine层的反向传播
qq_26181163的博客
05-08 508
激活层函数和affine层的反向传播 import numpy as np #Relu函数实现带反向传播 class Relu: def __init__(self): self.mask=None def forward(self,x): self.mask=(x<=0) out=x.copy() #复制x中的所有元素 out[self.mask]=0 retu
机器学习入门（13）— Affine 仿射层、Softmax 归一化指数函数层实现
wohu1104的专栏
06-28 1706
1. 一维 Affine 仿射层 我们回顾下之前为了计算加权信号的总和，使用了矩阵的乘积运算 NumPy 中是 np.dot() ， 参照代码如下： In [7]: X = np.random.rand(2) In [8]: W = np.random.rand(2,3) In [9]: B = np.random.rand(3) In [10]: X Out[10]: array([0.4789532 , 0.09922952]) In [11]: W Out[11]: array([[0.5
[通俗易懂]机器学习中的激活函数
nine_mink的博客
03-12 515
十分形象地讲：神经网络的激活函数（activation function）是一群空间魔法师，扭曲翻转特征空间，在其中寻找线性的边界。 如果没有激活函数，那么神经网络的权重、偏置全是线性的仿射变（affine transformation）： 这样的神经网络，甚至连下面这样的简单分类问题都解决不了： 在这个二维特征空间上，蓝线表示负面情形（y=0），绿线表示正面情形（y=1） 没有激活函数的加...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
热门推荐
sc179的博客
09-03 1万+
目录1 什么是激活函数2 为什么使用激活函数3 常用激活函数1 Sigmoid2 Tanh3 Relu 1 什么是激活函数 激活函数（Activation Function）在人工神经网络的神经元上运行，负责将神经元的输入映射到输出端。 如图，在神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数，引入激活函数是为了使神经网络模型具有非线性特性。 2 为什么使用激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这
Affine层/Softmax层的实现
weixin_30239339的博客
06-24 552
Affine 层 分别是形状为(2,)、(2, 3)、(3,) 的多维数组。这样一来，神经元的加权和可以用Y = np.dot(X, W) + B计算出来。 神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”。因此，这里将进行仿射变换的处理实现为“Affine层”。 Affine层的计算图（注意变量是矩阵，各个变量的上方标记了该变量的形状） ...
机器学习（一）：激活函数（Activation Function）
tiny_grass的专栏
08-29 4107
0. 激活函数 上图为wiki的定义：激活函数定义了每个节点（神经元）的输出和输入关系的函数。 下表：常用激活函数 编号\;编号\; 函数 函数 公式公式 1)1) sigmoid(x)sigmoid\;(x) φ(x)=11−e −x φ(x) = \dfrac{1}{{1-e^{ \ -x}}} 2)2) softmax(x)softmax\;(x) φ
python误差反向传播法
最新发布
09-07
下面是基本的误差反向传播法的步骤： 1. 步骤一：前向传播 - 输入一个训练样本，并通过网络前向传播计算得到预测值。 - 预测值与真实值之间的误差可以使用不同的损失函数来衡量，如均方误差（mean squared error...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

桃桃tao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值