李宏毅机器学习课程7~~~反向传播

最新推荐文章于 2023-04-17 14:16:24 发布
最新推荐文章于 2023-04-17 14:16:24 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 机器学习 李宏毅学习机器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiandanjinxin/article/details/76229489
版权

到底为什么基于反向传播的纯监督学习在过去表现不佳？Geoffrey Hinton总结了目前发现的四个方面问题：

带标签的数据集很小，只有现在的千分之一.
计算性能很慢，只有现在的百万分之一.
权重的初始化方式笨拙.
使用了错误的非线性模型。

深度学习=许多训练数据+并行计算+规模化、灵巧的的算法

这里写图片描述

链式法则

这里写图片描述

反向传播

这里写图片描述

直接套用链式法则

这里写图片描述

这里写图片描述

先计算链式法则里面的第一项

这里写图片描述

计算链式法则第二项，第二项继续使用链式法则

这里写图片描述

链式法则第二项，第二项的链式法则

这里写图片描述

第二项链式法则的简写

分情况考虑

这里写图片描述

如果正好是最后一层，即output layer

这里写图片描述

这里写图片描述

这里写图片描述

如果不是最后一层，一直不断的计算，直到最后一层output layer.

直接从最后一层开始计算

这里写图片描述

这里写图片描述

参考文献

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

帅气的弟八哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅机器学习笔记-7 反向传播算法（Backpropagation）
Memory
05-14 2794
Backpropagation-反向传播算法 1 前言 1.1 为什么要用 Backpropagation 在神经网络中的梯度下降算法和之前求线性回归方程中用的没有太大的区别，都是不断的计算微分，然后更新参数，最终找到一个最优解。 但是在神经网络中，有着大量可能多达上百万个的参数，所以传统的求微分方法行不通，计算量太大无法快速有效的求出微分。 1.2 链式求导法则（Chai...
李宏毅机器学习课程９~~~深度学习技巧
jiandanjinxin的专栏
07-30 5409
Recipe of Deep Learning Overfitting overfitting的判断是要训练误差与测试误差做比较。这个56-layer的网络在训练集上都没有训练好，说白了就是有点欠拟合。所以仅仅依靠测试集上的结果来判断56-layer比20-layer overfitting是不合理的。 更多理解见 Overfitting and Underfit
李宏毅学习笔记7.反向传播
老毛的博客
05-28 663
BP的中心思想：信号正向传播，误差反向传播
李宏毅机器学习笔记——反向传播算法
swpucwf的博客
05-22 404
反向传播算法 前向传播 forward propagation 过程：当前馈神经网络接收输入 x→\overrightarrow{\mathbf{x}}x 并产生输出 y\mathbf{y}y 时，信息前向流动。 输入 x→\overrightarrow{\mathbf{x}}x 提供初始信息，然后信息传播到每一层的隐单元，最终产生输出 y\mathbf{y}y 。 反向传播算法 back propagation 允许来自代价函数的信息通过网络反向流动以便计算梯度。 反向传播并不是用于学习整个神经网络
李宏毅机器学习系列-反向传播
王伟王胖胖的博客
08-18 661
李宏毅机器学习系列-反向传播梯度下降法 梯度下降法
【机器学习】反向传播
sword_csdn的博客
10-20 423
目录概述正向传播误差的反向传播权重更新梯度消失与梯度爆炸 概述 反向传播算法使用链式求导法则将输出层的误差反向传回给网络，使网络中的权重有了较简单的地图计算方法。像TensorFlow，Pytorch有现成的反向传播实现。 正向传播 首先定义一个简单的神经网络，正向传播的过程如下所示 以此类推，到达预测值y的位置如下。 误差的反向传播 接着计算预测值与真实值的误差 接着可算出上一层的误差，本层的误差由“下一层的误差”乘以“它们之间的权重”。 权重更新 然后权重的更新如下所示。 以此类推到最后一层
李宏毅2020机器学习课程课后作业要求+代码.zip
03-14
《李宏毅2020机器学习课程课后作业详解》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，这门课程的2020版不仅涵盖了丰富的理论知识，还提供了实战性的课后作业，旨在帮助学生巩固理解并提升实践能力。在...
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和实践深度学习的核心概念，包括神经网络的构建、反向传播算法...
机器学习-反向传播
小呆苗的博客
05-18 444
机器学习-反向传播简单易懂的解释 直观理解： 数学层面讲，反向传播就是链式求导法则 程序实现讲，反向传播就是通过动态规划实现 思想： 根据网络输出的答案和正确答案之间的误差，不断调整网络的参数。 假设训练一个分类网络，输入一个目标逐层向前计算后，得到该物体属于每一类的一个可能性的概率，每个神经网络的初始参数是随机赋予的，然后我们根据网络输出与正确答案之间差距，由后向前调整网络的参数。不断地输入和进行调整。 注意： BP算法在训练数据上表现得很好，但是在新数据上却不行。因此一般将数据集划分为训练集和验证集。
台大李宏毅-- 反向传播算法 Backpropagation
丁磊_ml的博客
03-25 662
1. 链式法则 2. 反向传播算法 实例 计算前向传播： 比如： 你会发现，输入值就是前向传播中，要求求解的导数的值。 计算后向传播： 这里假设，一个样本造成的损失loss是： （每个样本有两个输入x1,x2） 综上所述： 由上图可得，在反向传输中，在计算过程中，是先算出最末尾的 ∂C∂y1,∂C∂y2∂C∂y1,∂C∂y2\frac{\par...
李宏毅机器学习——深度学习反向传播算法
日积月累，天道酬勤
12-26 943
引言 在神经网络中，为了更有效的计算梯度，需要用到反向传播算法。我们先从链式求导法则开始。 链式求导法 先介绍下链式求导法则，在后面的反向传播算法中会用到。 有y=g(x),z=h(y)y = g(x),z=h(y)y=g(x),z=h(y) 那么dzdx=dzdydydx\frac{dz}{dx} = \frac{dz}{dy}\frac{dy}{dx}dxdz​=dydz​dxdy​; 有x=...
机器学习Machine Learning学习笔记——反向传播
qq_53554565的博客
07-16 533
深度学习反向传播学习笔记——参考李宏毅老师机器学习课程
机器学习算法 —— 反向传播
Humanlike_
04-06 1900
一、简介   反向传播算法，也叫BP（Backpropagation）算法，是一种在神经网络中用于根据误差更新各层连接权重的算法，其核心为梯度下降。 二、理论  （1）梯度   在二元函数的情形，设函数f(x,y){f(x,y)}f(x,y)在平面区域D{D}D内具有一阶连续偏导数，则对于每一点P0(x0,y0)∈D{P_0(x_0,y_0)\in{D}}P0​(x0​,y0​)∈D，都可定出...
反向传播——机器学习
公众号：风景邮递Yuan的博客
11-23 2811
反向传播就是要将神经网络的输出误差，一级又一级地传播到神经网络的输入。在该过程中，需要计算每一个权重对总的损失函数的影响， 即损失函数对每个权重的偏导。根据权重对误差的影响，再乘以步长，就可以更新整个神经网络的权重。当一次反向传播完成之后，网络的参数模型就可以得到更新。更新一轮之后,接着输入下一个样本， 算出误差后又可以更新一轮，再输入一个样本，又来更新一轮，通过不断地输入新的样本迭代地更新模型参数，就可以缩小计算值与真实值之间的误差，最终完成神经网络的训练。
李宏毅深度学习-反向传播
柯同学要谦虚
03-16 418
文章目录深度学习三个步骤神经网络模型评估选择最优函数反向传播链式法则损失函数(Loss function)代价函数(Cost function)总体损失函数(Total loss function) 深度学习三个步骤 Neural Network --> Goodness of function --> Pick the best function 神经网络 完全连接前馈神经网络 概念...
【机器学习】李宏毅——何为反向传播
FavoriteStar的博客
09-07 333
【机器学习】李宏毅——讲解了什么是反向传播
【机器学习】P18 反向传播（导数、微积分、链式法则、前向传播、后向传播流程、神经网络）
最新发布
weixin_43098506的博客
04-17 1092
反向传播 Backpropergation（导数、微积分、链式法则、前向传播、后向传播流程）
李宏毅ML笔记8: 反向传播
越开源越幸运
06-04 608
梯度下降 梯度下降的计算方法 链式法则 神经网络训练 Forward pass Backward pass 解释一 解释二 情况1: 后接输出层 情况2: 后接隐藏层
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值