对于吴恩达ML课程中Backpropagation计算方法的理解

已于 2022-10-09 18:06:21 修改
阅读量273 收藏
点赞数 2
分类专栏： 算法 文章标签： ML
于 2019-11-22 21:49:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41994174/article/details/103207307
版权

对于吴恩达ML课程中Backpropagation计算方法的理解

今天在写吴恩达ML第四次作业的时候，感觉计算neural network中损失函数J对theta的偏微分太难理解了。。和玄学一样，看视频的时候也晕晕乎乎的，不知道那些式子是怎么来的。。想起暑假在B站上看的李宏毅讲的一节课，回过头去看了看，这才明白了吴恩达课程中给出的那些公式的推导过程。

在这里插入图片描述
在这里插入图片描述上面两张是吴恩达ML课程中给出的计算梯度的过程，直接抛出了一些公式，不知道为什么要这么算。
由上面这些步骤可以得到，对于每一笔数据，它给theta1带来的惩罚值如下：
在这里插入图片描述

下面具体看看这个式子是咋来的。
在这里插入图片描述在这里插入图片描述

下面说一下我理解的计算步骤，感觉这么更好理解。
在这里插入图片描述在这里插入图片描述具体描述一下：
1.计算损失函数J对网络的输出a(n)的偏导数

2.利用上一步的结果，计算J对z(n)的偏导数
J/z(n) = a/z(n) * J/a(n)
J/a(n)是上一步的结果
a(n)/z(n)为激活函数g对z(n)求偏导

3.利用上一步的结果，计算J对a(n-1)的偏导数
J/a(n-1) = z(n)/a(n-1) * J/z(n)
J/z(n)是上一步的结果
z(n)/a(n-1)为theta(n-1)

4.类似于第二三步
反复求J对z J对a的偏导
一直到第一层

5.这时已经知道了所有J对z的偏导
再求出z对theta的偏导，即为a
想乘
J/theta = z/theta * J/z
得出梯度结果

参考了李宏毅机器学习的视频，链接如下，感觉讲得真的很好，比吴恩达的好懂。https://www.bilibili.com/video/av35932863?t=1868&p=11

F大娱乐家
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Neural Network中的Back-Propagation的详细推导过程
Comma Wang -- 永不靠岸的漂流瓶
10-08 8391
你可能已经看过了一些关于Deep Learning, 尤其是CNN相关的资料。你可能对于里面的前向传导(Forward)和后向传导(Backward)也明白是怎么回事。但是，仍然觉得具体的推导过程有些迷糊。 我觉得原因是因为除了本身Back-Propagation(B-P)推导过程有些繁琐之外，就是因为各种papers, 资料里面的符号，公式不完全统一，你看着，看着就绕晕了。 今天，在这篇blo
吴恩达机器学习Python实现课后习题（4）：Backpropagation 反向传播（文末有完整代码）
weixin_48577398的博客
05-30 1万+
1 Prepare datasets 其中有5000个训练样本，每个样本是20*20像素的数字的灰度图像。每个像素代表一个浮点数，表示该位置的灰度强度。20×20的像素网格被展开成一个400维的向量。在我们的数据矩阵X中，每一个样本都变成了一行，这给了我们一个5000×400矩阵X，每一行都是一个手写数字图像的训练样本,预测手写数字图像 1.1 Visualizing the data 可视化数据 import numpy as np import matplotlib.pyplot as plt fro
吴恩达深度学习 反向传播（Back Propagation）公式推导技巧
qq_43196058的博客
10-21 2667
转自：https://www.cnblogs.com/southtonorth/p/9512559.html 一直感觉反向传播（Back Propagation，BP）是这部分的重点，但是当时看的比较匆忙，有些公式的推导理解的不深刻，现在重新回顾一下，一是帮助自己梳理思路加深理解，二是记录下来以免遗忘。 1.符号规定 一般计算神经网络层数时不包括输入层，因此图1中的网络层数 L 为4； n[l]...
吴恩达机器学习视频--神经网络反向传播算法公式推导
zfliu96的博客
02-28 853
反向传播算法 基础知识 我们在计算神经网络预测结果时采用了正向传播方法，从第一层开始正向一层一层进行计算算，直到最后一层的hθ(x)hθ(x)hθ(x)hθ(x)hθ(x) h_\theta (x)hθ(x)hθ(x)hθ​(x)=(a(4)−y)⋅θ(3)⋅a(3)⋅(1−a(3)) =(θ(3))T⋅δ(4)⋅g′(z(3))=(θ(3...
反向传播（Back propagation）算法推导具体过程
Cheese_pop的博客
12-12 1718
BP算法的成就无需多言，现在就来进行一下具体的推导。推到过程依赖于西瓜书（《机器学习》 周志华） 1、首先定义一个单隐层神经网络，具体参考西瓜书102页： 2、各类符号的意义： 3、 初始化公式： 4、分别推导： BP算法代码： x = xlsread('C:\Users\icefire\Desktop\ml\西瓜3.xlsx', 'sheet1', 'A1:...
吴恩达《ML》课程代码（MATLAB+Python）
03-08
吴恩达《ML》课程代码，MATLAB版和Python均有，亲测。
吴恩达令人醍醐灌顶的ML课程PPT
最新发布
09-29
吴恩达令人醍醐灌顶的ML课程PPT
吴恩达deepai课程书籍与代码
08-09
《吴恩达deepai课程书籍与代码》是一个深入学习领域的宝贵资源，包含了吴恩达教授在Deep Learning Specialization（深度学习专项课程）中的编程作业。这个压缩包包括了5门课程的所有编程练习，旨在帮助学习者通过...
吴恩达深度学习课程中的论文
11-16
吴恩达在课程中强调了RNN在处理序列数据，如自然语言和时间序列分析中的重要性。 2. **《Learning Multiple Layers of Features from Tiny Images》** - Alex Krizhevsky et al.（2009） Krizhevsky等人提出的这篇...
吴恩达第五集 神经网络反向传播算法推导
qq_34489443的博客
05-22 3165
其中有很多内容参考博客https://blog.csdn.net/qq_32865355/article/details/80260212 算法简介 误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；（2）计算每一层的误差，误差的计算过程是...
对反向传播算法（Back-Propagation）的推导与一点理解
热门推荐
qrlhl的博客
03-14 2万+
最近在对卷积神经网络（CNN）进行学习的过程中，发现自己之前对反向传播算法的理解不够透彻，所以今天专门写篇博客记录一下反向传播算法的推导过程，算是一份备忘录吧，有需要的朋友也可以看一下这篇文章，写的挺不错的：http://www.cnblogs.com/lancelod/p/4164231.html，本文也大量参考了这篇文章。本文在推导过程中忽略了偏置的存在，这样做是为了更简单明晰的阐述BP算法的
花书+吴恩达深度学习（三）反向传播算法 Back Propagation
今天你学习了吗
11-25 2032
目录 0. 前言 1. 从 Logistic Regression 中理解反向传播 2. 两层神经网络中单个样本的反向传播 3. 两层神经网络中多个样本的反向传播 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP） 花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid...
Coursera吴恩达机器学习编程作业（ex4）包含BackPropagation算法的NeuralNetwork多层分类
UIUCGOGOGO的博客
05-27 2687
nnCostFunction.mfunction [J grad] = nnCostFunction(nn_params,input_layer_size,hidden_layer_size,num_labels,X, y, lambda) %NNCOSTFUNCTION Implements the neural network cost function for a two layer %ne...
Coursera机器学习-第五周-Neural Network BackPropagation
BD的笔记
05-22 6710
Cost Function and BackpropagationCost Function 假设有样本m个。x(m)x^{(m)}表示第m个样本输入，y(m)y^{(m)}表示第m个样本输出，LL表示网络的层数，sls_l表示在ll层下，神经但愿的总个数（不包括偏置bias units），SLS_L表示输出单元的个数 当遇到二分问题时，SL=1，y=0or1S_L=1，y=0 or 1，
深度学习笔记（三）back propagation（BP） 原理和求解过程
chenfenggang的专栏
08-24 8328
上一章分析基本神经网络以及怎么训练网络过程。里面有用到提到BP （反向传播的求解） 1）BP 其实是一种思想 首先我们看一个计算式子e=(a+b)∗(b+1)的图模型：如下左图所示， 其中，c,d表示中间结果，边的方向表示一个结点是另一个结点的输入。 假设输入变量a=2,b=1时，图中各结点的偏导计算结果如下：  利用正向微分算法，
反向传播算法 from 吴恩达的机器学习
melon__的博客
07-02 2407
反向传播算法目的最小化神经网络代价函数表示：l：代表目前所计算的是第几层。j：代表目前计算层中的激活单元的下标，也将是下一层的第个输入变量的下标。i：代表下一层中误差单元的下标，是受到权重矩阵中第行影响的下一层中的误差单元的下标。：表示误差：误差矩阵假设，即我们不做任何正则化处理时有反向传播算法1.获得训练集2.对所有的 i j l初始化3.对训练集数据i=1：m（1）设置a1 = x(i,:)（...
BackPropagation算法
xueli1991的博客
08-17 1386
BackPropagation算法是多层神经网络的训练中举足轻重的算法。 简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。 要回答题主这个问题“如何直观的解释back propagation算法？” 需要先直观理解多层神经网络的训练。 机器学习可以看做是数理统计的一个应用，在数理统计中一个常见的任务就是拟合，也就是给定一些样本点，用合适的曲线揭示这些样
反向传播算法之要点(Backpropagation Algorithm)
qq_37523061的博客
12-07 2699
反向传播算法之要点(Backpropagation Algorithm) Introduction 反向传播是一个很简单的算法，一个学习过微积分的人就能够轻松的理解。本文拒绝让人打不起看的精神冗余繁杂，希望能简洁的把反向传播的算法的推导过程和求解过程进行简洁、清晰的表述。 本文目标读者： 大概了解反向传播，但是还没有理解反向传播的公式推导过程。 反向传播的要点只有3...
机器学习笔记07：神经网络的反向传播(Backpropagation)
请叫我AXin
05-20 1万+
——–本文中除了在图片下方标记了出处的图片，均为原创，转载请注明出处——–上一篇文章《机器学习笔记06：神经网络的表示(Neural Networks-Representation)》 大概描述了神经网络的起源、结构、表示、工作方法及一些应用。今天这篇文章对应 Coursera 上的Stanford机器学习课程的week05。主要的内容是神经网络的学习，包括梯度下降、反向传播等。1.误差函数(Cos
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值