吴恩达深度学习笔记_吴恩达深度学习教程笔记（一） 反向传播的公式理解

最新推荐文章于 2024-03-25 11:46:46 发布
最新推荐文章于 2024-03-25 11:46:46 发布
阅读量98 收藏
点赞数
文章标签： 吴恩达深度学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39915210/article/details/111577826
版权

吴恩达深度学习教程笔记（一）

反向传播的公式理解

最近在bilibili上自学吴恩达深度学习教程，发现弹幕上不少小伙伴对吴恩达老师的反向传播公式不是很理解，所以打算通过知乎分享一下我自己的看法。

1.为什么看不懂视频中的公式？

我认为就是吴恩达老师对导数和微分符号的混用导致的

在视频中我们约定

举个例子

这样我们就能解释视频中的所有公式了

2.第二周logistic regression derivatives公式理解

首先来看一下视频中的公式介绍

647eb9c1131820f990b697471ab14928.png

其本质就是一个链式求导法则，下面我来演示一下

首先从成本函数开始对$a$进行求偏导

然后
对
进行求导

这样我们就可以得到成本函数对
的求导了

接着就可以分别求成本函数对
和
的求导了

3.第三周shallow nerual network公式理解

首先我们来看一下正向传播公式

接着我们反过来进行链式求导

这里直接套用上一节的公式

下面这个公式比较难理解，它是从隐藏层到输入层的链式求导

其中
是
的导数
weixin_39915210
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习小白——反向传播
MargretWG的博客
03-27 1356
一、理解 函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度 梯度▽f是偏导数的向量，所以有， 直观理解链式法则，f=q*z, q=x+y ,先进行前向传播，从输入计算到输出（绿色），然后反向传播从末端开始，根据链式法则递归地向前计算梯度，一直到输入端。 在整个反向传播过程中，每个门单元应将回传的梯度乘以它对其输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯
吴恩达机器学习笔记---神经网络反向传播
qq_45604750的博客
07-29 379
前言 1.代价函数(Cost Function) 2.反向传播算法(Backpropagation Algorithm) 3.直观理解(Backpropagation Intuition) 神经网络学习 (一)代价函数(Cost Function)   之前我们学习了神经网络模型的前向传播过程，就是输入特征求得输出结果的过程。反向传播算法目的就是优化模型参数，也就是每个神经元上的权值。要想优化参数，第一步就是求出代价函数的表达式，通过最小化代价函数来求得最优参数。在给出神经网络模型的代价函数之前我们
吴恩达深度学习 —— 3.10 直观理解反向传播
然后就去远行
11-28 526
z[1]=W[1]x+b[1]z^{[1]}=W^{[1]}x+b^{[1]}z[1]=W[1]x+b[1]a[1]=σ(z[1])a^{[1]}=\sigma(z^{[1]})a[1]=σ(z[1])z[2]=Wa[1][2]+b[2]z^{[2]}=W^{[2]}_{a^{[1]}}+b^{[2]}z[2]=Wa[1][2]​+b[2]a[2]=σ(z[2])a^{[2]}=\sigma (z...
4.6 前向和反向传播-深度学习-Stanford吴恩达教授
ygl_9913的博客
03-14 192
笔记
吴恩达《机器学习》——神经网络与反向传播
Ace2NoU的博客
01-04 1414
实现神经网络的反向传播求导，并用梯度来优化神经网络，实现对手写数字的多分类任务。在最后对隐藏层进行可视化。
吴恩达深度学习笔记_公式推导.zip
06-03
《吴恩达深度学习笔记_公式推导》是针对吴恩达教授的深度学习课程的一份详尽学习资料，旨在帮助学习者深入理解和掌握深度学习的核心概念与算法。吴恩达，作为全球知名的AI专家，他的课程以其清晰易懂、实践性强而受...
吴恩达深度学习学习笔记以及代码
01-14
吴恩达深度学习课程是全球范围内广受欢迎的在线教育项目，由知名计算机科学家吴恩达教授主讲。这个课程深入浅出地介绍了深度学习的基本概念、理论基础以及实际应用，涵盖了神经网络、卷积神经网络（CNN）、循环神经...
Adam优化算法原理详解（吴恩达深度学习笔记）
01-06
在介绍Adam之前首先介绍一下momentum和RMSprop优化算法。...此算法是梯度下降算法的一种改进，在神经网络的反向传播过程中，不再只依赖当前参数的下降梯度进行参数的更新，也依赖以前几轮的参数和参数
吴恩达老师深度学习笔记（中文版）
10-23
吴恩达老师的深度学习课程是全球范围内广受欢迎的在线教育项目，旨在教授人工智能领域的核心概念——深度学习。这篇笔记提供了对课程内容的详尽总结，适合那些希望深入了解或复习深度学习理论与实践的人群。 深度...
吴恩达机器学习笔记_机器学习_
10-03
神经网络和深度学习是近年来机器学习的热点，吴恩达的笔记会讲解多层感知器、卷积神经网络（CNN）和循环神经网络（RNN）等模型，以及如何使用梯度下降、反向传播等方法来优化模型。 最后，笔记还将涵盖集成学习，如...
吴恩达深度学习 —— 2.8 计算图的导数计算
然后就去远行
11-26 587
上一节中，看了一个例子，使用流程图来计算函数J，现在我们清理一下流程图的描述，看看如何利用它计算出函数J的导数。 下图是一个流程图，假设要计算J对v的导数，怎么计算呢？把v值拿过来，改变一下，那么J的值会怎么变呢？定义上，J=3vJ=3vJ=3v，现在v=11，如果让v增加一点点，如果到11.001，那么J的值就变为33.003,。当v增加0.001，最终结果是J上升到原来的三倍，所以J对v的导数...
吴恩达深度学习 —— 4.6 前向传播和反向传播
然后就去远行
11-29 367
前向传播：Input a[l−1]Input\space a^{[l-1]}Input a[l−1]Output a[l],cache(z[l])Output\space a^{[l]},cache(z^{[l]})Output a[l],cache(z[l])z[l]=W[l]a[l−1]+b[l]z^{[l]}=W^{[l]}a^{[l-1]}+b^{[...
吴恩达深度学习（3）在深度神经网络中的正向传播与反向传播,参数和超参数的定义
m0_62449242的博客
11-02 608
单样本： 在第l层，有参数w^[l],b^[l] 正向传播： 输入激活函数g^[l]，a^[l-1],输出a^[l] z^[l]=w^[l]a^[l-1]+b^[l] 存储z^[l]，w^[l],b^[l](存储z^[l]的原因可以参考图2，在反向传播中会用到） a^[l]=g^[l](z^[l]) 反向传播： 输入da^[l],之前存储的z^[l],输出da[l-1],dw[l],db[l] dz^[l]=da^[l]*g`^[l](z[l]) 这里的da^[l]解释如图3部分 ...
深度学习 | 吴恩达深度学习课程1 Week3
RUC_Lee的博客
06-08 488
第一门课程-第三周Quiz+编程作业1 Quiz1.1 第1题1.2 第2题1.3 第3题1.4 第4题1.5 第5题1.6 第6题1.7 第7题1.8 第8题1.9 第9题1.10 第10题2 编程练习2.1 需求2.2 加载和查看数据集2.3 逻辑回归实现分类2.4 搭建神经网络2.4.1 定义神经网络结构2.4.2 初始化参数2.4.3 循环2.4.3.1 定义隐层+输出层的激活函数2.4....
吴恩达深度学习课程笔记1-2：计算图（正向传播）及计算图求导数（反向传播）
weixin_45410871的博客
07-12 211
我们想计算函数J(a,b,c) = 3(a + bc)的值，有三个步骤：1.计算 u = b * c2.计算 v = a + u3.计算 J = 3 * v如果 a = 5, b = 3, c = 2, 我们就可以通过计算。
吴恩达-深度学习（1-3节）
最新发布
programDH的博客
03-25 890
小白学习吴恩达大佬的深度学习做的一些笔记以及自己的一些理解，有错误欢迎指正~。持续更新中~
吴恩达深度学习--反向传播
huanhuan_Coder的博客
01-27 1838
反向传播图示 对于一个单隐层的神经网络，它的正向传播与反传播如下。 反向传播的向量化表示dz[2]=A[2]−Ydz^{[2]}=A^{[2]}-Y dw[2]=1mdz[2]A[1]Tdw^{[2]}=\frac{1}{m}dz^{[2]}A^{[1]T}db[2]=1mnp.sum(dz[2],axis=1,keepdims=true)db^{[2]}=\frac{1}{m}np.sum(
深度学习反向传播的理解
dulingmo的博客
11-08 1587
我认为反向传播可以大致理解为用多个线性函数复合一个非线性函数去拟合一类问题的过程，根据这一类问题中一个样本的正向传播计算得到的结果，再根据预测的结果与实际结果的差异反向传播得到预测的结果对这个函数的影响，从而提高下一次结果预测的准确率。这个过程的原理有些类似先验概率的求法。 而关于反向传播的算法，我觉得最重要的一点就是链式求导的实现，导数的求法并不是最重要的，关键在于实现程序的过程能不能把“链式...
花书+吴恩达深度学习（三）反向传播算法 Back Propagation
今天你学习了吗
11-25 2032
目录 0. 前言 1. 从 Logistic Regression 中理解反向传播 2. 两层神经网络中单个样本的反向传播 3. 两层神经网络中多个样本的反向传播 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP） 花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid...
吴恩达深度学习课程笔记V5.2：TensorFlow实战
"这是一份由黄海广编写的深度学习笔记，主要基于吴恩达在Coursera上的深度学习课程(deeplearning.ai)。笔记涵盖了课程的主要内容，包括深度学习的基础、神经网络构建、卷积神经网络(CNN)、递归神经网络(RNN)和长短期...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值