BackPropagation算法理论详解及公式推导

最新推荐文章于 2024-08-15 09:37:39 发布
最新推荐文章于 2024-08-15 09:37:39 发布
阅读量2.3k 收藏 6
点赞数 2
分类专栏： Deep Learning 文章标签： BackPropagation 反向传播算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Triple_WDF/article/details/87732497
版权

定义：

          \eta：步长

          w_{ji}^{l}：第(l-1)层隐藏层的第i个神经元------------>第(l)层隐藏层的第j个神经元的连线的权值

           b_{j}^{l}：第(l)层隐藏层的第j个神经元的偏量bias，下面的图片中的bias_{j}^{l}就是b_{j}^{l}

           Z_{j}^{l}：

           a_{j}^{l}=\frac{1}{1+e^{-Z_{j}^{l}}}

一、目标函数：

          Cost(w, b)=\frac{1}{2m}\sum_{i=1}^{m}\left \| y-a^{L} \right \|^{2}此处的y是向量（样本提供的标准答案），a^{L}是神经网络的输出向量。

          由于神经网络是每注入一个样例，更新一次参数的，所以，考虑到注入一个样例的情况，其目标函数是：         cost(w,b)=\frac{1}{2}\sum_{i=1}^{outputs}(y_{i}-a_{i}^{L})^{2}，其中outputs表示神经网路的最终结果的可能性个数。

二、两个参数的更新方程：

          w_{ji}^{l}:=w_{ji}^{l}-\eta\frac{\partial cost}{\partial w_{ji}^{l}}

          b_{j}^{l}:=b_{j}^{l}-\eta \frac{\partial cost}{\partial b_{j}^{l}}

          现在为题转化为如果求解\frac{\partial cost}{\partial w_{ji}^{l}}，\frac{\partial cost}{\partial b_{j}^{l}}，下面给出详细求解过程：

 

 

 

至此BackPropagation算法推导完毕。

补充和修改：为了更好的解释\delta _{j}^{l}的递推过程，对上述部分推导进行简单修改

 

 

 

 

 

 

 

pfeiKing
关注
专栏目录
遗传算法与深度学习：优化神经网络结构
程序员光剑
05-23 1371
关键词： 遗传算法，深度学习，神经网络，结构优化，超参数调整深度学习近年来取得了令人瞩目的成就，其在图像识别、自然语言处理、语音识别等领域展现出巨大的应用潜力。然而，深度学习模型的性能很大程度上取决于其结构和超参数的设置。手动设计神经网络结构需要大量的专业知识和经验，并且效率低下。为了解决这个问题，人们开始探索使用自动化方法来优化神经网络结构，而遗传算法作为一种经典的进化算法，为解决这一问题提供了新的思路。遗传算法（Genetic Algorithm，GA）是一种模拟自然选择和遗传机制的优化算法。它将问题的
Backpropagation 原理与代码实战案例讲解
程序员光剑
07-16 776
1. 背景介绍 1.1 问题的由来 在机器学习的世界中，我们经常需要训练模型以优化预测结果。其中，一种广泛使用的优化算法就是反向传播（Backpropagation）。这种算法在神经网络中的应用尤其突出，因为它可以有效地更新网络中的权重，以减小预测误差。 1.2
Neural Network中的Back-Propagation的详细推导过程
Comma Wang -- 永不靠岸的漂流瓶
10-08 8402
你可能已经看过了一些关于Deep Learning, 尤其是CNN相关的资料。你可能对于里面的前向传导(Forward)和后向传导(Backward)也明白是怎么回事。但是，仍然觉得具体的推导过程有些迷糊。 我觉得原因是因为除了本身Back-Propagation(B-P)推导过程有些繁琐之外，就是因为各种papers, 资料里面的符号，公式不完全统一，你看着，看着就绕晕了。 今天，在这篇blo
Backpropagation 算法的推导与直观图解
u011279649的专栏
11-24 918
摘要 本文是对 Andrew Ng 在 Coursera 上的机器学习课程中 Backpropagation Algorithm 一小节的延伸。文章分三个部分：第一部分给出一个简单的神经网络模型和 Backpropagation（以下简称 BP）算法的具体流程。第二部分以分别计算第一层和第二层中的第一个参数（parameters，在神经网络中也称之为 weights）的梯度为例来解释 BP 算法
深度学习基础之反向传播算法
最新发布
Ctrl+CV九段手
08-15 1191
反向传播算法是深度学习的基础之一，它通过计算误差的梯度并利用这些信息更新网络参数，从而实现模型的优化和性能提升。其主要优势在于能够自动地根据网络输出与目标值的误差动态调整参数，使得网络输出逐渐接近目标值。
Backpropagation 过程推导
weixin_42278173的博客
08-08 1253
BackPropagation 过程推导 注：本文是作者在借鉴其他前辈的推导过程的基础上，加入了一些自己的理解，便于新手入门，无商业用途。 反向传播算法（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。本文主要由以下部分组成： ...
Backpropagation
Claroja
06-05 491
本文介绍了以反向传播(backpropagation)算法为基础的多层神经网络,下面的例子是三层的神经网络,其中两个输入,一个输出. 每一个神经元(neuron)由两个单元(unit)构成.第一个单元增加了产出的权重(weights)系数和输入信号.第二个单元实现了非线性函数,我们称之为神经元激活(neuron activation)函数.信号e是增加的输出信号,y=f(e)是非线性元素的输
MLP入门：多层人工神经网络模型及算法公式推导（正向传播与逆向传播过程详解）
热门推荐
TinToKAO的博客
05-11 1万+
1. 多层人工神经网络模型 由输入层、隐藏层（可有多层）和输出层组成。神经网络中最基本的成分是神经元（neuron）。其中，输入层神经元仅接收外界输入，不进行函数处理；隐藏层和输出层则包含功能神经元，能将接收到的总输入值与一定的阈值进行比较，然后通过“激活函数”（activation function）处理以产生神经元的输出。 下图给出“单隐层网络”： 输入层拥有d个神经元，代表输入样本在d个属性下的值； 输入层信号通过带权重的连接传递至隐藏层，隐藏层神经元分别接收到各自的总输入值ah(h=1,2
bp神经网络算法原理公式,bp神经网络算法推导
aifamao3的博客
08-22 1780
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“a”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。
backpropagation
aocandr8991的博客
08-12 122
http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95 反向传播算法的思路如下：给定一个样例，我们首先进行“前向传导”运算，计算出网络中所有的激活值，包括的输出值。之后，针对第层的每一个节点，我们计算出其“残差”，该残差...
深度学习笔记——理论与推导之Backpropagation（二）
Dream come ture~
08-10 1834
Backpropagation（反向传播）： 背景——Cost Function与Gradient Descent Cost Function： Gradient Descent： backpropagation是一种高效计算网络中gradient的方法 对权重wij求偏导 由于C的变化与z有关，z的变化与w有关，因此，需要分为如下两部分求解： z对w求偏导： z对
Back Propagation算法
weixin_43272605的博客
12-01 1486
1：神经网络简析 2：Back Propagation算法 3：用BP神经网络解决异或问题 前面对于一个神经网络分析了它的前馈计算结果 但是对于参数更新一直还没有说 这里先采用Back Propagation算法。学这个东西的时候，许多线性代数的知识都忘得差不多了，所以可能适合很多没有学过线性代数或者线性代数知识匮乏的人一起研究。 先来简单构建一个二层神经网络 这里最...
反向传播(Back Propagation)
lyf's blog
03-01 1025
在利用梯度下降法对神经网络权重等参数进行训练时，需要利用反向传播去计算损失函数对权重参数的偏导数。 反向传播 下面分析是如何反向传播的(分析时不考虑偏置项)， 参考上图， ① 对于一个神经元jjj，它的输出被定义为， (1.1)Oj=φ(netj)=φ(∑k=1NwkjOk) O_j = \varphi(net_j)=\varphi(\sum_{k=1}^N w_{kj}O_k)...
【李宏毅深度学习】Backpropagation
qq_25011449的博客
05-23 871
本文是李宏毅深度学习 (2015)的学习笔记，主要介绍了神经网络Backpropagation算法的推导过程。本文所用到的图示均来自课堂ppt。 原视频地址：[李宏毅深度学习 (2015)][1]
误差逆传播 (Backpropagation)
程序员光剑
06-20 557
误差逆传播 (Backpropagation) 1.背景介绍 误差逆传播（Backpropagation）是深度学习和神经网络领域的核心算法之一。它的出现极大地推动了人工智能的发展，使得复杂的神经网络能够高效地进行训练。误差逆传播算法通过计算神经网络输出与期望输出之间的误差，并将误
Back Propagation-BP神经网络
2301_78731684的博客
12-09 1017
BP算法是一种通过反向传播来训练神经网络的方法。它通过前向传播计算网络的输出值和预期输出值之间的误差，然后通过反向传播调整网络参数以减少误差。在BP算法中，首先会进行前向传播的计算过程。这个过程会根据输入样本和初始化的网络权重和偏置值，计算出网络的输出值。然后，将这个输出值与期望的输出值进行比较，计算出误差。如果误差不在给定的范围内，就会进行反向传播的过程。反向传播是通过将误差分摊给各层的所有单元，从而获得各层单元的误差信号。
lhy机器学习（四）： ML Lecture 7_ Backpropagation（反向传播）
wzn19930319的博客
08-13 149
反向传播 当神经网络层数很多，每一层又有很多神经元时，参数就异常的多，我们为了实现梯度下降，就要求L（参数1，参数2...）对所有参数的微分，，假如有一百万个参数，每次梯度下降就要求100万次微分，这个计算量可想而知 反向传播就是为了解决在求损失函数对参数的微分计算量太大的问题，基于链式法则，我们先回顾一下链式法则 下面就是反向传播的计算过程 上面的dC/dz...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值