反向传播详解

最新推荐文章于 2024-03-13 16:16:59 发布
最新推荐文章于 2024-03-13 16:16:59 发布
阅读量1.3k 收藏 9
点赞数 1
分类专栏： 深度学习知识点笔记 文章标签： 反向传播详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanhuaibeian/article/details/101382454
版权

这是一场以误差（Error）为主导的反向传播（Back Propagation）运动，旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去

文章目录

一、为什么引入反向传播

神经网络的过程就是正向传播得到Loss值，再把Loss值反向传播，并对神经网络的参数进行更新，其中反向传播正是神经网络的要点所在
即前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。
至于为什么会提出反向传播算法，我直接应用梯度下降（Gradient Descent）不行吗？想必大家肯定有过这样的疑问。答案肯定是不行的，纵然梯度下降神通广大，但却不是万能的。梯度下降可以应对带有明确求导函数的情况，或者说可以应对那些可以求出误差的情况，比如逻辑回归（Logistic Regression），我们可以把它看做没有隐层的网络；

了解本专栏 订阅专栏 解锁全文
南淮北安
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
CNN与反向传播详解.pdf
08-16
CNN与反向传播详解CNN与反向传播详解CNN与反向传播详解CNN与反向传播详解
深度学习——反向传播（Backpropagation）
johnny_love_1968的博客
06-05 3万+
反向传播算法（Backpropagation） 文章目录反向传播算法（Backpropagation）一.简介二.反向传播原理2.1 导数的链式法则2.2 正向传播与反向传播三.总结 一.简介 无论是机器学习，还是深度学习。都绕不开一个梯度下降。在进行深度学习简介的时候，我们有介绍过深度学习的大致步骤，分别为： 构建神经网络 数据拟合 选出最佳模型 其中，选出最佳模型的方式，其实就是利用梯度下降算法，选出损失函数最小的那个。在传统的机器学习当中，这个比较容易，直接算就行了。但是在深度学习当中，由于存在输
反向传播 — 简单解释
最新发布
gongdiwudu的专栏
03-13 1378
关于反向传播，我有一个精雕细刻的案例计划，但是实现了一半，目前没有顾得上继续充实，就拿论文的叙述这里先起个头，我后面将修改和促进此文的表述质量。
TextCnn原理及实践
JohnSon
01-30 2万+
原理 paper地址：https://arxiv.org/pdf/1408.5882.pdf 对于文本分类问题，常见的方法无非就是抽取文本的特征，比如使用doc2evc或者LDA模型将文本转换成一个固定维度的特征向量，然后在基于抽取的特征训练一个分类器。 然而研究证明，TextCnn在文本分类问题上有着更加卓越的表现。 TextCnn的结构 1. 嵌入层(embedding la
反向传播的全矩阵方法
xionglovexi的博客
01-12 1222
之前在神经网络随机梯度下降计算梯度时，在反向传播时每个样本单独计算梯度，然后再求小批量数据的梯度平均值；而现在全矩阵方法是将整个小批量作为一个矩阵（一个样本作为一列）输入整体利用矩阵运算一次计算梯度平均值，用计算出的梯度平均值去更新权重和偏置。结果表明，全矩阵方法能够提升效率平均5倍左右，由开始的平均10秒到2秒。 废话不多说，直接上代码： # ⼩批量数据上的反向传播的全矩阵⽅法，并且最后更新权重 def backprop_matrix(self, x, y, m, eta): ""
深度解剖(4)：DNN反向传播-bp算法，矩阵偏导传递
江南才尽江南山，年少无知年少狂！
10-01 1561
以下是链接我个人关于深度学习的所有见解，其后会对深度学习思想，正反向传播，损失函数，正则惩罚，梯度下降，矩阵求导，网络搭建，等等都进行详细的讲解！只有你想不到的，没有我讲不到的。让我用最通俗的语言，为你留下最深刻的印象，后来的年轻人以及我徒弟，好好加油！ 深度解剖(0)：最通俗易懂，详细无死角的深度学习讲解(目录) 如果有说得不对的地方，欢迎大家指出，我会第一时间进行更正，有兴趣可以加微信a944......
【深度学习】反向传播
H2WO4的博客
08-01 2138
（Forward Propagation）是神经网络中的一个过程，它是神经网络从输入数据到输出结果的推导过程。在正向传播过程中，输入数据通过神经网络的各个层，逐层进行计算和变换，最终得到神经网络的输出结果。具体来说，正向传播包括以下步骤：1. 输入数据传入输入层：将输入数据传入神经网络的输入层。2. 加权求和：输入数据通过连接输入层的神经元到下一层的连接权重，进行加权求和。每个神经元都有一个偏置项，用于调整加权求和的结果。
【剑指offer】反向传播
IST-CTO
04-13 1568
深度学习中的反向传播是一种基于梯度下降法的优化方法，用于计算神经网络中每个参数的梯度值，以便利用梯度下降法或其他优化方法来更新参数，从而最小化损失函数。反向传播的基本思想是通过链式法则计算整个神经网络中每个参数对损失函数的贡献，以便利用梯度下降法来更新参数。具体来说，反向传播算法从输出层开始，将输出误差反向传播到隐藏层和输入层，计算每个神经元的误差和梯度，并使用梯度下降法来更新参数。反向传播算法的关键在于计算每个神经元的误差和梯度，这可以通过链式法则来实现。
反向传播是什么？通俗易懂的解释！！！
小呆苗的博客
08-19 2万+
反向传播算法是目前用来训练人工神经网络的最常用且最有效的算法。 反向传播工作原理就是： （1）前向传播：将训练集数据输入到ANN的输入层，经过隐藏层，最后到达输出层并输出结果。【输入层—隐藏层–输出层】 （2）反向传播：由于ANN的输入结果与输出结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层。【输出层–隐藏层–输入层】 （3）权重更新：在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。 举一个例子来说明我理解的反向传播的思想是： （1
反向传播算法的直观理解
热门推荐
xf__mao的博客
11-05 4万+
一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。 关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词： 输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数 接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，训练手段如何变化）我们的目标
反向传播——通俗易懂，超简单
baidu_41798699的博客
10-26 701
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。 说
python里反向传播算法详解
01-19
反向传播的目的是计算成本函数C对网络中任意w或b的偏导数。一旦我们有了这些偏导数，我们将通过一些常数 α的乘积和该数量相对于成本函数的偏导数来更新网络中的权重和偏差。这是流行的梯度下降算法。而偏导数给出了...
神经网络-反向传播算法详解
10-03
BP算法(即反向传播算法)是在有导师指导下，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间...
PyTorch: 梯度下降及反向传播的实例详解
09-18
今天小编就为大家分享一篇PyTorch: 梯度下降及反向传播的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习：有监督学习、无监督学习和半监督学习
南淮北安的博客
10-21 2万+
是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。 文章目录一、监督式学习二、无监督式学习三、半监督式学习 一、监督式学习 在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练...
关于图像中“语义信息”的理解
南淮北安的博客
10-28 2万+
图像的语义分为视觉层、对象层和概念层。 视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义； 对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态； 概念层是高层，是图像表达出的最接近人类理解的东西。 通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。 ...
AttributeError: module 'tensorflow' has no attribute 'Variable'
南淮北安的博客
09-06 1万+
TensorFlow 装好后，在终端可以正常使用，但是今天 编写一个小的案例，就出错了 上网了找找原因，最后发现是因为我这个文件名起的有问题： 和 tensorflow 模块重名了 所以总结出现这个原因的如下： 检查项目是不是项目中有python package 命名为tensorflow, 这时 根据python的调用机制，它会优先import 项目中的tensorflow，从而没有各种...
神经网络为什么需要加偏置项（bias）？
南淮北安的博客
09-27 1万+
文章目录一、什么是 bias?二、bias 的作用 一、什么是 bias? 偏置单元（bias unit），在有些资料里也称为偏置项（bias term）或者截距项（intercept term），它其实就是函数的截距，与线性方程 y=wx+b 中的 b 的意义是一致的。 在 y=wx+b 中，b表示函数在y轴上的截距，控制着函数偏离原点的距离，其实在神经网络中的偏置单元也是类似的作用。 因此，神...
深度学习： ground truth 解释
南淮北安的博客
10-09 1万+
一、解释一 就是参考标准，一般用来做error quantification 比方说要根据历史数据预测某一时间的温度，ground truth就是那个时间的真实温度。 error就是(predicted temperature - real temprature)。 Ground truth当然还可以用来做reinforcement learning，就是在学习中加入奖励机制。比方说程序的输出越接...
神经网络的计算过程的前向传播和反向传播详解
05-30
神经网络的计算过程涉及到两个重要步骤，即前向传播和反向传播。 前向传播是指将输入数据通过神经网络的各层，一直到输出层的过程。在每一层中，输入数据会被加权、激活函数处理，并传递到下一层。具体来说，每个神经元会将输入数据与其对应的权重相乘，并将乘积累加起来，然后再通过激活函数处理后输出给下一层的神经元。这个过程可以用下面的公式表示： $$ a^{[l]} = g^{[l]}(z^{[l]}) = g^{[l]}(W^{[l]}a^{[l-1]} + b^{[l]}) $$ 其中，$a^{[l]}$ 表示第 $l$ 层神经元的输出，$z^{[l]}$ 表示第 $l$ 层神经元的加权和，$g^{[l]}(\cdot)$ 表示第 $l$ 层神经元的激活函数，$W^{[l]}$ 表示第 $l$ 层神经元的权重矩阵，$a^{[l-1]}$ 表示第 $l-1$ 层神经元的输出，$b^{[l]}$ 表示第 $l$ 层神经元的偏置。 反向传播是指根据网络输出的误差，将误差通过神经网络反向传播，更新各层神经元的权重和偏置。反向传播的过程可以分为两个步骤：计算误差和更新参数。 计算误差的过程可以用损失函数来表示，常用的损失函数有均方误差（MSE）和交叉熵（Cross-Entropy）。假设 $y$ 表示真实标签，$\hat{y}$ 表示网络输出的预测值，那么均方误差和交叉熵的公式分别为： $$ MSE = \frac{1}{m}\sum_{i=1}^{m}(y^{(i)} - \hat{y}^{(i)})^2 $$ $$ CE = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log(\hat{y}^{(i)}) + (1-y^{(i)})\log(1-\hat{y}^{(i)})] $$ 其中，$m$ 表示样本数量。 更新参数的过程是通过梯度下降算法实现的。梯度下降算法的核心思想是通过求解损失函数的梯度，来更新网络中所有的权重和偏置，使得损失函数的值不断减小。梯度下降算法的公式如下： $$ \theta = \theta - \alpha \frac{\partial J}{\partial \theta} $$ 其中，$\theta$ 表示网络中的权重和偏置，$\alpha$ 表示学习率，$J$ 表示损失函数。通过计算损失函数对权重和偏置的偏导数，就可以得到梯度信息，然后根据梯度信息来更新网络中的参数。 综上所述，神经网络的前向传播和反向传播是神经网络计算的核心过程，通过这两个步骤，神经网络可以将输入数据映射为输出标签，并不断优化网络的参数，提高预测的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南淮北安

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值