反向传播输出层误差 δ

最新推荐文章于 2022-09-04 16:29:42 发布
最新推荐文章于 2022-09-04 16:29:42 发布
阅读量2.5k 收藏 17
点赞数 10
分类专栏： 学习笔记 文章标签： 神经网络 机器学习 反向传播 输出层误差
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucifly/article/details/106623183
版权
这篇博客详细记录了吴恩达机器学习课程中关于神经网络反向传播的一个疑问，即输出层误差δ的计算。通常 δL 计算为 y - aL，作者通过成本函数C的推导证明了这一点，C由交叉熵构成，δL最终简化为(y - aL)，解释了为何可以直接用预测值和真实值的差来表示输出层误差。
摘要由CSDN通过智能技术生成

吴恩达机器学习第5课笔记

神经网络反向传播

吴恩达的机器学习的笔记已经很多了，本文只是记录一个一直没搞清楚的问题
在课程中计算反向传播的时候，关于输出层的误差直接就给出了
δ L = y − a L . \delta^{L}=y-a^{L}. δL=y−aL.
一直很疑惑，按照公式推算应该是
δ L = ∂ C ∂ z L = ∂ C ∂ a L ∂ a L ∂ z L = ∂ C ∂ a L σ ′ ( z L ) . \delta^L=\frac{\partial C}{\partial z^L}=\frac{\partial C}{\partial a^L}\frac{\partial a^L}{\partial z^L}=\frac{\partial C}{\partial a^L}\sigma'(z^L) . δL=∂zL∂C​=∂aL∂C​∂zL∂aL​=

最低0.47元/天 解锁文章
lucifly
关注
专栏目录
Deep Learning|神经网络原理学习笔记(8) ：玩转反向传播——反向传播四个基本方程（1）输出层误差方程与误差的跨层表示
(๑￫ܫ￩)
07-06 762
好久没更，说一下反向传播的四个基本方程。这篇说前两个方程：输出层误差方程与误差的跨层表示。
【神经网络】{6} ——反向传播（学习笔记）
01-20
此处开始讲解一个算法来尝试优化神经网络结构的代价函数。 这是一个让代价函数最小化的算法——反向传播算法。 首先来看一下神经网络的代价函数： 要做的就是设法找到参数θ，使得J(θ)取到最小值，为了使用梯度下降法或者其他某种高级优化算法，需要做的就是写一段代码，这段代码获得输入参数θ，并计算J(θ)和这些偏导项： 神经网络里对应的参数Θ_ij^(l)∈R（都是实数）。 为了计算代价函数J(θ)，用下面这个公式： 我们大部分时间要重点关注如何计算这些偏导项： 我们从只有一个训练样本的情况开始说起，假设整个训练集只包含一个训练样本，也就是实数对，把这一个训练样本记为(x, y)，先粗略看
【数据挖掘】神经网络 后向传播算法( 向后传播误差 | 输出层误差公式 | 隐藏层误差公式 | 单元连接权值更新公式 | 单元偏置更新公式 | 反向传播 | 损失函数 | 误差平方和 | 交叉熵 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-27 5477
I . 向后传播误差 简介 II . 输出层误差计算公式 III . 隐藏层层误差计算公式 IV . 使用误差更新 连接权值 V . 使用误差更新 单元偏置 VI . 反向传播 过程 VII . 损失函数 简介 VIII . 损失函数 IX . 损失函数 举例 X . 损失函数 优化过程
BP神经网络误差反向传播公式简单推导
绯荔榭•少年
10-31 4333
最近看了BP神经网络(Back Propagation Neural Networks)，对于其中误差反向传播公式的推导比较困惑，在参考周志华老师的《机器学习》和网上一些博客后，做出一个简单的还原。 1. BP网络模型及变量说明 1.1 模型简图 1.2 变量说明： ml：第l层神经元个数 x(1)p: 输入层第p个神经元，p=1…m1； yk : 输出层第k的神经元的输
一文读懂反向传播算法原理
XHHP
05-28 1万+
1.前言   写这个文章主要是因为学习了吴恩达老师的机器学习视频，在神经网络的反向传播算法（Back Propagation）的公式推导有些模糊，所以自己也查阅了很多资料，才基本搞明白其中的原理。所以希望通过写一下文章来进行梳理一下。   因为本文的公式推导是基于吴恩达老师的课程，课程里的神经网络部分主要讲述的是神经网络在分类的应用，因此激活函数采用的是sigmoid函数，下面的公式推导也基于这个进行推导。   最后，因为自己是刚开始学习机器学习，所以可能理解上存在一些小的偏差。如果文章中有错误，欢迎大家指
反向传播算法(过程及公式推导)_全连接神经网络中反向传播算法数学推导
weixin_39549312的博客
12-10 808
点击上方“CVer”，选择加"星标"或“置顶”重磅干货，第一时间送达作者：南柯一梦宁沉沦https://zhuanlan.zhihu.com/p/61863634本文已授权，未经允许，不得二次转载本文以神经网络中最简单的全连接神经网络为例介绍反向传播算法的理论推导。因为它涉及到的数学理论相对其它网络更为简单，仅需要对矩阵的乘法运算以及微积分中求导链式法则有较好的理解。全连接神经网络中的反...
什么叫误差的反向传播,反向传播误差怎么算的
aifamao2的博客
09-04 3225
自从40年代赫布(D.O.Hebb)提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(errorBackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。是用于多层神经网络训练的著名算法，有理论依据坚实、推导过程严谨、物理概念清楚、通用性强等优点。但是，人们在使用中发现BP算法存在收敛速度缓慢、易陷入局部极小等缺点。
机器学习-神经网络反向传播算法
weixin_43761642的博客
10-23 597
反向传播算法 我们之前的线性回归和逻辑回归算法都是通过找到一个损失函数，通过某种方法最小化损失函数以不断修正参数，最后获得我们想要的模型。这基本上是机器学习的通用的流程 对于神经网络来说，我们同样要找到损失函数，最小化损失函数进而达到修正参数的目的 反向传播算法就是完成这一功能的算法 首先还是要给出损失函数 这是之前逻辑回归的损失函数，假定我们神经网络的激活函数用的是sigmoid函数，后面的那项...
给初学者们讲解人工神经网络（ANN）
日拱一卒
06-09 4万+
1.介绍 这份教学包
反向传播算法中，逐级向前计算delta公式的由来
qq_27361945的博客
11-19 1527
https://zhuanlan.zhihu.com/p/25081671 详解反向传播算法(上)
卷积神经网络(CNN)反向传播算法推导
huahuazhu的博客
08-04 1266
在之前的文章中我介绍了多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。 南柯一梦宁沉沦：神经网络中反向传播算法数学推导83 赞同 · 10 评论文章 首先我给大家介绍一下我分析delta误差反向传播过程的简单方法，如果神经网络l+1层某个结点的delta误差要传到l层，我们就去找前向传播时l+1层的这个结点和第l层的哪
神经网络学习4【误差传递与权重更新】
HUSHLALA的博客
08-26 6800
1.4. 误差反馈 1.4.1 误差反馈校正权重矩阵 可以理解，输出和误差都是多个节点共同作用的结果，那么该如何更新链接权重？ 思考一下，得到误差后，该怎么分配？平均分的话是否会有失公平？毕竟我们在之前的学习中了解到，前一层每个节点的贡献都是不一样的。考虑极端情况，当某权重为0时，它对下一个节点的贡献为0；这时如果误差仍然平均分配显然是不那么合适的。 但我们很容易想到这个标准：较大链接权重的连接分配更多的误差。 将同样的思想扩展到多个节点。如果我们拥有100个节点链接到输出节点，那么我们要在这100条链
深度学习 --- BP算法详解（误差反向传播算法）
进击的菜鸟
11-11 6万+
本节开始深度学习的第一个算法BP算法，本打算第一个算法为单层感知器，但是感觉太简单了，不懂得找本书看看就会了，这里简要的介绍一下单层感知器： 图中可以看到，单层感知器很简单，其实本质上他就是线性分类器，和机器学习中的多元线性回归的表达式差不多，因此它具有多元线性回归的优点和缺点。单层感知器只能对线性问题具有很好的解决能力，但是非线性问题就无法解决了，但是多层感知器却可以解决非线性问题，多层感...
BP误差反传神经网络
10-14 1万+
1、BP神经网络背景简介：              BP（Error Back Propagation Network）神经网络是目前应用最为广泛和成功的神经网络之一，它于1986年由Rumelhant和McClelland提出。是一种多层网络“逆推”学习算        法。 2、BP神经网络基本思想：               BP神经网络基本思想由两部分组成：输入样本前向传播并输出
简单易学的机器学习算法——神经网络之BP神经网络
热门推荐
null的专栏
06-21 11万+
一、BP神经网络的概念 二、BP神经网络的
机器学习学习笔记（2）——ROC、AUC与loss公式的推导过程
LiQZ的博客
08-22 3975
ROC与AUC是我看的很累的一节，主要是公式推导过程太复杂了，并且南瓜书上也没有写的特别明白计算过程，于是我就自行推导了一次两个公式，并且还有些许自己的理解。 本文使用的例子是南瓜书上的例子，南瓜书链接我会放在最后。 目录一、ROC1. 概念2. 绘制方法2.1 我的方法2.2 书上的方法2.3 两者的关系2.4 性能评价二、AUC1. 概念2. 计算三、loss1. 概念2. 计算四、参考 一、ROC 1. 概念 ROC全称是“受试者工作特征”（Receiver Operating Character.
delta学习规则及梯度下降法
equinux的专栏
05-31 3634
Delta学习规则代价函数(Cost Function, Lost Function)其中，误差E是权向量Wj的函数。欲使误差E最小，Wj与误差的负梯度成正比，即：梯度下降法的问题1. 学习率难以选取，太大会产生震荡，太小会收敛缓慢2. 容易陷入局部最优解...
第五周：卷积神经网络(CNN）的反向传播
qq_41554955的博客
10-31 3893
上一个博客描述了CNN的整个过程（链接https://editor.csdn.net/md/?articleId=120914867），这一个博客来说一下池化层（Sampling）反向传播和卷积层的反向传播的公式是怎么来的 1.池化层反向传播 池化层的反向传播就是已知后一层池化层矩阵的误差梯度，推前一层矩阵的误差梯度。 最大池化的正向传播如下： 以上图最大池化举例，池化后的数字6对应于池化前的红色区域，实际上只有红色区域中最大值数字6对池化后的结果有影响，权重为1，而其它的数字对池化后的结果影响都为0。假
反向传播：采用δ学习算法
最新发布
06-09
反向传播算法是一种常用的神经网络训练算法，可以用于解决非线性分类和回归问题。其中，δ学习算法是一种基于梯度下降的反向传播算法，用于训练多层神经网络。以下是采用δ学习算法的反向传播算法 MATLAB 代码实现： ``` % 加载数据 X = [0 0; 0 1; 1 0; 1 1]; y = [0; 1; 1; 0]; % 定义神经网络结构 input_layer_size = 2; % 输入层神经元个数 hidden_layer_size = 2; % 隐藏层神经元个数 output_layer_size = 1; % 输出层神经元个数 % 初始化权重和偏置 Theta1 = rand(hidden_layer_size, input_layer_size + 1) * 2 - 1; % 隐藏层权重矩阵 Theta2 = rand(output_layer_size, hidden_layer_size + 1) * 2 - 1; % 输出层权重矩阵 % 定义 sigmoid 函数 function g = sigmoid(z) g = 1 ./ (1 + exp(-z)); end % 定义 sigmoid 函数的导数 function g = sigmoidGradient(z) g = sigmoid(z) .* (1 - sigmoid(z)); end % 定义代价函数 function J = costFunction(X, y, Theta1, Theta2) % 前向传播计算输出值 m = size(X, 1); a1 = [ones(m, 1) X]; z2 = a1 * Theta1'; a2 = [ones(m, 1) sigmoid(z2)]; z3 = a2 * Theta2'; h = sigmoid(z3); % 计算代价函数 J = sum(-y .* log(h) - (1 - y) .* log(1 - h)) / m; end % 定义反向传播算法 function [Theta1_grad, Theta2_grad] = backpropagation(X, y, Theta1, Theta2) % 前向传播计算输出值 m = size(X, 1); a1 = [ones(m, 1) X]; z2 = a1 * Theta1'; a2 = [ones(m, 1) sigmoid(z2)]; z3 = a2 * Theta2'; h = sigmoid(z3); % 计算误差 delta3 = h - y; delta2 = delta3 * Theta2 .* sigmoidGradient([ones(m, 1) z2]); delta2 = delta2(:, 2:end); % 计算梯度 Theta1_grad = delta2' * a1 / m; Theta2_grad = delta3' * a2 / m; end % 定义学习率 learning_rate = 0.1; % 训练模型 epochs = 10000; for i = 1:epochs [Theta1_grad, Theta2_grad] = backpropagation(X, y, Theta1, Theta2); Theta1 = Theta1 - learning_rate * Theta1_grad; Theta2 = Theta2 - learning_rate * Theta2_grad; end % 预测新样本的类别 x_new = [0.5, 0.5]; a1_new = [1 x_new]; z2_new = a1_new * Theta1'; a2_new = [1 sigmoid(z2_new)]; z3_new = a2_new * Theta2'; h_new = sigmoid(z3_new); disp(h_new); ``` 注：此代码展示了采用δ学习算法的反向传播算法的基本思路和实现，但是由于神经网络结构的复杂性和数据集的不同，需要根据具体情况进行参数调整和优化。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值