【深度学习笔记】手动推导反向传播公式BP

于 2023-01-18 21:49:49 发布
阅读量461 收藏
点赞数
分类专栏： 深度学习 机器学习 计算机视觉 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128730759
版权

问题

现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络，得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值，以减少误差
  6. 重复迭代，直至得到网络权重的最佳值

全连接层反向传播

在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l −

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BLFaker84516
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
二十五、手推反向传播BP算法
ly_1995_01的博客
04-19 207
二十五、反向传播BP算法 由于本人喜欢在纸上手推原理，所以附上照片，欢迎提出建议
吴恩达深度学习笔记_公式推导.zip
06-03
笔记首先可能会介绍深度学习的基本框架，包括感知机、前馈神经网络（Feedforward Neural Networks）以及反向传播算法（Backpropagation），这些是深度学习的基础。 在神经网络部分，笔记可能会详细解析权重初始化、...
手推bp反向传播算法
学习笔记
01-17 303
我成了 第一次完整的手推下来BP的过程,吓得赶集记录下来,emmmnnnn话说不手推的话还能脚推??? 既然是俺的第一次的话,俺相信会有第二次。。第三次,嘿嘿嘿 。。。 言归正传:俺发现确实要自己推一遍，这样的话可以对deep learning 结构和bp过程更加理解有利于自己更好的deep learn 嘿嘿嘿 单层感知机的梯度计算 多层感知机的梯度计算及bp 完美 ...
BP反向传播算法详细手推
weixin_41446643的博客
08-01 634
BP算法中求导过程涉及到矩阵运算中的点乘和内积，求导过程会有所区别，有时候是对应元素相乘，有时候是直接矩阵相乘，详细见图：
手推机器学习 吴恩达 神经网络BP反向传播公式推导（中篇）
最新发布
weixin_54910491的博客
08-04 668
吴恩达 手推机器学习 BP反向传播算法
前向传播与反向传播矩阵的手动推导过程
Mr-WuRuSong
09-04 294
转自哔哩哔哩视频：推导过程
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
Python机器学习模型公式推导 笔记
07-18
手写笔记ptf格式，模型包括：线性回归、逻辑回归、支持向量机、KNN、Kmeans、BP神经网络、PCA、聚类算法等
《深度学习》手推笔记（公式手推）
06-10
第十二章 深度学习应用 ------------------------------------- 第三部分 深度学习前沿研究 第十三章 线性因子模型 第十四章 自编码器 第十五章 表示学习 第十六章 结构化概率模型 第十七章 蒙特卡洛方法 第十八章 ...
Deeplearning深度学习笔记v5.61.zip
04-15
吴恩达深度学习笔记总结，个人总结，非常详细，希望分享
手动计算bp算法
weixin_42622151的博客
12-30 753
反向传播算法及其推导过程
weixin_41075215的博客
12-08 543
反向传播算法及其推导过程 在使用pytorch搭建神经网络时，一直对这几行代码不是很理解： optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() 而这正是神经网络最重要的算法之一：BP算法，这次借助一个最简单的例子，手动推导一遍向...
深度学习中的梯度计算与反向传播推导（一）DNN中单样本反向传播推导
qq_42734797的博客
11-06 846
前言 这篇博客的初心 : 最近读的论文又用到LSTM了，发现对这些深度学习模型我还是只了解皮毛，不了解其底层原理(如参数的更新)，而我从接触深度学习开始就对反向传播充满了好奇，感觉这是个很难理解的事情。所以建立这篇博客慢慢从矩阵求导开始，慢慢推导所有深度学习模型的底层原理，从而加深自己的理解。 这篇博客内容 : 包括部分深度学习所需数学知识，以及各种深度学习模型(DNN,RNN等)的原理推导。 1 数学知识 注: 在本博客中，所有向量x\bm{x}x默认都为列向量 1.1 深度学习中几种常见的求导
bp算法推导过程
tjusxh的专栏
05-11 3245
BP过程主要是为了学习网络.首先我们要知道我们这个学习的过程要更新的每一层的w的权值. 整个的卷积神经网络其实可以理解成一个卷积+一个激活+........+一个卷积+一个激活. 每一个都相当于一次函数操作. 即  一个复合函数. 我们既然要求每一层的w的变化量,也就要求损失对每个一个w的偏导,用到了复合函数链式求导法则. 我们对一个三层的网络进行分析. 推导过程如下:
（二十四） 手推BP神经网络的前向传播和反向传播
m0_43609475的博客
03-11 4960
手推BP神经网络的前向传播和反向传播 一、基本术语 1、监督学习与非监督学习 Supervised Learning有监督式学习: 输入的数据被称为训练数据，一个模型需要通过一个训练过程，在这个过程中进行预期判断，如果错误了再进行修正，训练过程一直持续到基于训练数据达到预期的精确性。其关键方法是分类和回归，比如逻辑回归(Logistic Regression)和BP神经网络(Back Propagation Neural Network)。 Unsupervised Learning无监督学习: 没有任何训
手写简单的BP(反向传播)算法，实现预测
a1314_521a的博客
10-15 869
手写简单的BP(反向传播)算法（一个隐藏层），网络结构如下： 输入层shape:(1,2) w1.shape:(2,4) w2.shape:(4,4) 具体代码实现及数据预测结果: import numpy as np import matplotlib.pyplot as plt # 训练集特征2维 X = np.array([[2,1],[-1,1],[-1,-1],[1,-1]]) # 类别标签 y = np.array([1,2,3,4]) # 初始化权重矩阵 np.random.seed(
手动推导softmax神经网络反向传播求导过程——神经网络之softmax(6)
石头的博客
05-09 1270
通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。
手推机器学习公式（一） —— BP 反向传播算法
weixin_30710457的博客
03-02 233
方便起见，本文仅以三层的神经网络举例。 f(⋅)：表示激励函数 xi：表示输入层； yj：表示中间的隐层； yj=f(netj) netj=∑i=0nvijxi ok：表示输出层，dk 则表示期望输出； ok=f(netk) netk=∑j=0mwjkyj vij,wjk 分别是连接输入层-隐层，隐层和输出层的权值矩阵； BP 既然称为 err...
BP（反向传播）算法推导带图片详解
PyBigStar的博客
03-02 1914
反向传播算法推导标记规定公式一（反向传播最后一层的错误）  我会尽量用数学公式和图解的方式来详细地推导BP算法。 标记规定 θjkl\mathop \theta \nolimits_{jk}^lθjkl​：代表连接第l层第k个神经元和第l+1层第j个神经元的权重参数。 zjl\mathop z\nolimits_j^lzjl​: 代表第l层第j个神经元的输入。 ajl\mathop a\noli...
吴恩达深度学习课程笔记：神经网络与反向传播
吴恩达教授的深度学习课程笔记提供了一个系统的深度学习基础知识，涵盖了神经网络的基本概念、反向传播算法、向量化、卷积神经网络、循环神经网络和生成对抗网络等重要概念。该课程笔记适合初学者和经验丰富的深度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BLFaker84516

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值