【ML】斯坦福Machine Learning反向传播（Backpropagation）的数学推导

最新推荐文章于 2022-03-26 18:10:45 发布
最新推荐文章于 2022-03-26 18:10:45 发布
阅读量1.2k 收藏 36
点赞数 30
分类专栏： 数学推导 文章标签： 斯坦福 吴恩达 机器学习 BP学习算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013541048/article/details/106896850
版权
疫情在家闲着没事把斯坦福Andrew Ng的机器学习里面的数学公式都推导了一遍。其中我发现视频中反向传播的数学跳过了一些步骤且所用的数学符号跟其他地方不太一样。今天来分享一下视频中反向传播的数学推导。如果你喜欢看更直观的视频推导，请移步这里：B站:Youtube:原视频中介绍反向传播的有这两页：有没有一种好像看懂又好像有点迷糊的感觉？我反正是的。。于是经过仔细看了之后我把我的纠结总结成了下面5个问题：1. 为什么?2. 为什么下面一个视频内容说，但是却从...
摘要由CSDN通过智能技术生成

疫情在家闲着没事把斯坦福Andrew Ng的机器学习里面的数学公式都推导了一遍。其中我发现视频中反向传播的数学跳过了一些步骤且所用的数学符号跟其他地方不太一样。今天来分享一下视频中反向传播的数学推导。

如果你喜欢看更直观的视频推导，请移步这里：

B站: https://www.bilibili.com/video/BV1GK4y1s76c/

Youtube: https://www.youtube.com/watch?v=9OzLcgy1bjs

 

原视频中介绍反向传播的有这两页：

有没有一种好像看懂又好像有点迷糊的感觉？我反正是的。。于是经过仔细看了之后我把我的纠结总结成了下面5个问题：

1. 为什么 g'(z^{(3)}) = a^{(3)}.*(1-a^{(3)}) ?

2. 为什么下面一个视频内容说 \delta_{i}^{(l+1)}=\frac{\partial J}{\partial z_{i}^{(l+1)}} ，但是却从 \delta^{(4)} = a^{(4)} - y 开始推导。这样的简化可以吗？

3. 就算2是可以的，那为什么 \delta^{(3)} = (\theta^{(3)})^{T}\delta^{(4)}.*g'(z^{(3)}) ?

4. 为什么 \frac{\partial}{\partial \theta_{ij}^{(l)}}J(\theta) = a_j^{(l)}\delta_{i}^{(l+1)} ?

5. 为什么 \frac{\partial}{\partial\theta_{ij}^{l}}J(\theta) = D_{ij}^{(l)} ?

推导之前我们先来看看一些基本定义：

a_{j}^{(l)} : 第l层的第j个node的输出

最低0.47元/天 解锁文章
jc2020_
关注
  • 30
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
全球名校AI课程库（4）| Stanford斯坦福 · 机器学习课程『Machine Learning』
ShowMeAI研究中心
11-06 1万+
吴恩达与其他几位斯坦福教授主讲，对机器学习和统计模式识别提供了广泛介绍，是机器学习领域里门非常重要的高质量课程，也是许多人进入AI领域的基石。
斯坦福大学吴恩达教授Machine Learning课程笔记
fencecat的博客
01-16 934
01什么是机器学习？ Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。在过去的十年中，机器学习帮助我们自动驾驶汽车，有效的语音识别，有效的网络搜索，并极大地提高了人类基因组的认识。机器学习是当今非常普遍，你可能会使用这一天几十倍而不自知。 回溯到50年代Samuel的定义：在进行特定编程
Machine Learning（Stanford）| 斯坦福大学机（吴恩达）器学习笔记【汇总】
Wanda && Aidem
07-25 719
from：https://blog.csdn.net/m399498400/article/details/52556168   定义本课程常用符号 训练数据：机器用来学习的数据 测试数据：用来考察机器学习效果的数据，相当于考试。 m = 训练样本的数量（训练集的个数) x = 输入的特征（例如房屋面积） y = 输出结果（例如房屋售价） (x(i),y(i)) = 表示训练集中第i个训...
神经网络编程入门
热门推荐
hit_kongquan的专栏
03-25 1万+
<br /><br />　本文主要内容包括： (1) 介绍神经网络基本原理，(2) AForge.NET实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法 。<br /><br /><br />第0节、引例 <br />       本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set  找到。这里我简要介绍一下Iris数据集：<br />有一批Iris花，已知这
MachineLearning.zip
09-15
该文档能够从基本原理到实际应用，深入浅出介绍算法，能够帮助初学者快速入门，进阶者能快速解决不同阶段对算法的理解问题。缺点文档为英文版。
[Deep Learning] 反向传播算法（Backpropagation Algorithm）
01-20
Chain Rule（链式法则） Case 1 如果有： y=g(x) z=h(y)y = g(x)\ \ \ \ \ \ z = h(y)y=g(x) z=h(y) 那么“变量影响链”就有： Δx→ΔyΔz\Delta x\rightarrow \Delta y \Delta zΔx→ΔyΔz ...
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
Backpropagation_Learning:使用Java进行反向传播学习
04-29
反向传播_学习 使用不列颠哥伦比亚大学EECE592学习系统体系结构的Java Assignment1进行反向传播学习（ ） 实现一个多层感知器，并使用错误反向传播算法对其进行训练。 有关详细信息： 反向传播： : 作业： :
BP反向传播神经网络介绍及公式推导
07-08
神经网络中的反向传播（BackPropagation）介绍及公式推导 神经网络中的激活函数的作用，最常用的两个激活函数Sigmoid 和TanH 代价函数对介绍二次代价函数(Quadratic Cost)，交叉熵代价函数(Cross-entropy Cost)
斯坦福的stanford machine learning笔记
02-25
2018年更新的最新收集：斯坦福的stanford machine learning笔记。包括Lecture Notes、Section Notes、Supplemental Notes。对深度学习有很大帮助
SVM推导过程
03-26
线性可分支持向量机 线性支持向量机 数据近似线性可分 非线性支持向量机 数据线性不可分
matlab反向传播算法代码-MachineLearning-DeepLearning-NLP-LeetCode-StatisticalLea
06-20
matlab 反向传播算法代码 MachineLearning-DeepLearning-NLP-LeetCode-StatisticalLearningMethod 最近在学习机器学习，深度学习，自然语言处理，统计学习方法等知识，所以决定自己将学习的相关算法用Python实现一遍，并结合GitHub上相关大牛的代码进行改进，本项目会不断的更新相关算法，欢迎star，fork和关注。 主要包括： 1.吴恩达Andrew Ng老师的机器学习课程个人笔记 Python实现， 2.deeplearning.ai（吴恩达老师的深度学习课程笔记及资源） Python实现， 3.李航《统计学习方法》 Python代码实现， 4.牛津大学xDeepMind 自然语言处理 Python代码实现， 5.LeetCode刷题，题析，分析心得笔记 Java和Python代码实现， 6.TensorFlow人工智能实践代码笔记 北京大学曹健老师课程和TensorFlow：实战Google深度学习框架（第二版） Python代码实现， 附带一些个人心得和笔记。GitHub上有很多机器学习课程的代码资源，我也准备
LF_BPA_反向传播_
09-30
在IT领域，特别是神经网络和机器学习中，“反向传播”（Backpropagation）是一种广泛使用的算法，用于训练多层感知机（Multilayer Perceptron, MLP）和其他类型的神经网络。这个“LF_BPA”可能指的是“LF_BPA反向...
斯坦福大学公开课机器学习：machine learning system design | trading off precision and recall（F score公式的提出：学习算法中如何平...
weixin_34324081的博客
01-21 106
一般来说，召回率和查准率的关系如下：1、如果需要很高的置信度的话，查准率会很高，相应的召回率很低；2、如果需要避免假阴性的话，召回率会很高，查准率会很低。下图右边显示的是召回率和查准率在一个学习算法中的关系。值得注意的是，没有一个学习算法是能同时保证高查准率和召回率的，要高查准率还是高召回率，取决于自己的需求。此外，查准率和召回率之间的关系曲线可以是多样性，不一定是图示的形状。 如何...
Machine Learning --- 机器学习（斯坦福大学）相关材料中英翻译
嘟嘟的博客
03-26 394
Machine Learning — 机器学习（斯坦福大学） 不断学习，不断更新中…… 1. Linear regression with one variable 2. Multiple Features 3. Logistic Regression 4. …
斯坦福大学《Machine Learning》第1周学习笔记
小T是我
06-13 1019
Introduction  简介  What is Machine Learning(什么是机器学习) 学习 - 一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。 西洋棋例子中，经验E就是程序上万次的自我练习的经验；任务T就是下棋；性能度量值P就是它与一些新对手比赛时，赢得比赛的概率。 Supervised L...
斯坦福大学《Machine Learning》第4周学习笔记
小T是我
06-17 667
Neural Networks: Representation神经网络：表示 Motivations激励 Non-linear Hypotheses非线性假设 下面举几个例子阐述神经网络算法的目的 这几个问题的解决 都依赖于研究复杂的非线性分类器    考虑这个监督学习分类的问题 我们已经有了对应的训练集 如果利用逻辑回归算法 来解决这个问题 首先需要构造 一个包含很多非线性项的 逻辑...
Machine Learning（Stanford）| 斯坦福大学机器学习笔记--第一周（5.线性回归的梯度下降）
MLjoy的博客
09-13 3830
本博客内容来自Coursera上Andrew Ng老师的机器学习课程的。其实一开始在上课的时候我就在本子上做过一遍笔记，这次在博客上再做一遍是对课程的复习巩固，加深印象。--这篇博客的主要内容是介绍了线性回归的梯度下降。
BP——反向传播算法公式推导及代码
最新发布
09-20
反向传播算法（Backpropagation）是一种用于训练神经网络的常见优化算法。它通过计算损失函数相对于每个参数的梯度，并使用梯度下降来更新参数。下面我将给出反向传播算法的公式推导及示例代码。 1. 反向传播算法公式推导： 首先，定义神经网络的损失函数为L，该函数是由网络输出和真实标签之间的差异计算得出。假设神经网络有多个隐藏层，每个隐藏层的参数为W和b。 1.1 前向传播： 首先，我们通过前向传播计算每一层的输出值。假设输入为x，第l层的输出为a[l]，则有： a = x z[l] = W[l] * a[l-1] + b[l] a[l] = g(z[l]) 其中，g()是激活函数。 1.2 反向传播： 接下来，我们需要计算损失函数相对于每个参数的梯度，然后使用梯度下降更新参数。假设我们有L层神经网络，则有以下公式： 输出层的梯度： dz[L] = dL / da[L] * g'(z[L]) 隐藏层的梯度： dz[l] = (W[l+1]的转置 * dz[l+1]) * g'(z[l]) 参数梯度： dW[l] = dz[l] * a[l-1的转置] db[l] = dz[l] 更新参数： W[l] = W[l] - learning_rate * dW[l] b[l] = b[l] - learning_rate * db[l] 其中，dL / da[L]是损失函数对输出层输出的导数，g'()是激活函数的导数。 2. 反向传播算法示例代码： 下面是一个使用反向传播算法进行训练的示例代码： ```python # 假设网络有三个隐藏层 hidden_layers = [10, 20, 30] output_size = 2 # 初始化参数 parameters = {} layers_dims = [input_size] + hidden_layers + [output_size] L = len(layers_dims) - 1 for l in range(1, L + 1): parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * 0.01 parameters['b' + str(l)] = np.zeros((layers_dims[l], 1)) # 前向传播 def forward_propagation(X, parameters): caches = [] A = X for l in range(1, L): Z = np.dot(parameters['W' + str(l)], A) + parameters['b' + str(l)] A = sigmoid(Z) cache = (Z, A) caches.append(cache) Z = np.dot(parameters['W' + str(L)], A) + parameters['b' + str(L)] AL = softmax(Z) cache = (Z, AL) caches.append(cache) return AL, caches # 反向传播 def backward_propagation(AL, Y, caches): grads = {} dZ = AL - Y m = AL.shape[1] grads['dW' + str(L)] = 1/m * np.dot(dZ, caches[-1][1].T) grads['db' + str(L)] = 1/m * np.sum(dZ, axis=1, keepdims=True) for l in reversed(range(1, L)): dA_prev = np.dot(parameters['W' + str(l+1)].T, dZ) dZ = dA_prev * sigmoid_derivative(caches[l-1][0]) grads['dW' + str(l)] = 1/m * np.dot(dZ, caches[l-1][1].T) grads['db' + str(l)] = 1/m * np.sum(dZ, axis=1, keepdims=True) return grads # 参数更新 def update_parameters(parameters, grads, learning_rate): for l in range(1, L+1): parameters['W' + str(l)] -= learning_rate * grads['dW' + str(l)] parameters['b' + str(l)] -= learning_rate * grads['db' + str(l)] return parameters # 训练模型 def train_model(X, Y, learning_rate, num_iterations): for i in range(num_iterations): AL, caches = forward_propagation(X, parameters) cost = compute_cost(AL, Y) grads = backward_propagation(AL, Y, caches) parameters = update_parameters(parameters, grads, learning_rate) if i % 100 == 0: print("Cost after iteration {}: {}".format(i, cost)) return parameters # 使用示例 parameters = train_model(X_train, Y_train, learning_rate=0.01, num_iterations=1000) ``` 这是一个简单的反向传播算法示例代码，其中的sigmoid()、softmax()、sigmoid_derivative()和compute_cost()函数需要根据具体情况自行实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值