李宏毅机器学习08—Backpropagation

最新推荐文章于 2023-09-03 16:17:14 发布
最新推荐文章于 2023-09-03 16:17:14 发布
阅读量54 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57178683/article/details/115822953
版权

backpropagation：反向传播算法

*基础知识：chain rule 链式求导法则

 

 反向传播算法

先选取一个 neural

1.计算 

2.计算 

 

整理得 

3.计算   和 

1.假设之后就是输出层

2.假设之后不是输出层

也就是从后往前推导，从输出层开始计算。

总结：

 

 

zeng-233
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2021李宏毅机器学习笔记--7.1 backpropagation
guoxinxin0605的博客
05-23 203
2021李宏毅机器学习笔记--7.1 backpropagation1 摘要2 步骤2.1 chain rule链式法则2.2 loss function2.2.1 forward pass2.2.2 backward passcase1 未知的两项在输出层case2 未知的两项并不在输出层3 小结及展望 1 摘要 上文讲到可以用Backpropagation的方法对网络中的所有参数（ w 和 b）进行更新，最终使total loss达到最低值，本文将介绍具体的步骤。 2 步骤 选定一组初始的参
李宏毅机器学习之Backpropagation
Trony的博客
03-18 318
一、背景 1.1 梯度下降 先给(weight and bias) 先选择一个初始的，计算的损失函数（Loss Function）设一个参数的偏微分 计算完这个向量（vector）偏微分，然后就可以去更新 百万级别的参数（millions of parameters） 反向传播（Backpropagation）是一个比较有效率的算法，可以是我们在计算梯度向量的时候更有效率。 1.2 链式法则 连锁影响（可以看出x影响y，y会影响z） BP主要用到了chain rule 二、反向传播
【李宏毅机器学习】backpropagation 反向传播（p13） 学习笔记
duanyuchen的博客
07-21 403
文章目录Gradient DescentChain Rule链式法则前向传播反向传播情况一：红色的neural是属于网络的output layer的情况二：假设红色的neural并不是整个网络的output，后面还有其他的东西Summary Gradient Descent BP只是为了更加高效地进行梯度计算。 Chain Rule链式法则 输入一个xnx^nxn，经过神经网络后，得到 yny^nyn，真实值是y^n\hat{y}^ny^​n，定义一个yny^nyn和y^n\hat{y}^ny^​n之间
2020李宏毅机器学习笔记-Backpropagation
zn961018的博客
04-24 377
Backpropagation （反向传播） Backpropagation(反向传播)，就是告诉我们用gradient descent来train一个neural network的时候该怎么做，它只是求微分的一种方法，而不是一种新的算法。 Gradient Descent gradient descent的使用方法，跟前面讲到的linear Regression或者是Logistic Regression是一模一样的， 唯一的区别就在于当它用在neural network的时候，networ.
李宏毅机器学习-- Backpropagation
snowflier的博客
08-10 96
BP推导
李宏毅机器学习笔记：RNN循环神经网络
夏之微风的博客
09-03 1315
第3个输入为[2,2]，结合前一个memory的输入为[6,6]，这个时候hidden layer的输出为[16,16]，output为[32,32]。这个时候结合前一个memory的输出[2,2]，hdden layer的输出为[6,6]，output为[12,12]。举例来说，我们输入的第一个向量为[1,1]，则hidden layer的输出为[2,2]，先被储存起来，输出为[4,4]。这样，将词汇向量化之后，我们指导，网络的输入为一个个的词汇向量，网络的输出则为：y1表示词汇属于。
李宏毅机器学习课程笔记
zzhhjjjj的博客
10-25 249
课程资源 B站视频 课程网址 课程笔记 问答整理 下面仅记录自己的所得所感 第一节课 从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之后很有收获。 ...
李宏毅2020机器学习深度学习
既脱春火的博客
01-21 340
P1机器学习 1.机器学习就是自动寻找函数（函式） 2.找到的函数输出是一个数值即可称之为regression （回归） 3.generation 不同于回归于分类 是一个让机器创造的过程 作业中RNN中的Seq2seq可翻译产生语句（文句） CNN中的GAN 产生二次元人物头像 4.Supervised learning 告诉机器每张图片对应的正确分类输出就是做label 即理想输出。而有label的训练 即Supervised learning 有了label后即可计算实际与理想的偏差 即找到的
李宏毅-2023春机器学习 ML2023 SPRING-学习笔记：3/3 机器学习基本概念介绍
Transfattyacids的博客
04-22 745
机器学习 ≈ 机器自动寻找一个函数f例如：chatGPT：输入：“什么是机器学习”通过函数f，输出：“机”Midjournery：输入：一只可爱的猫，通过函数f，输出：一张猫猫图片Regression（回归）与Classification（分类）Regression：函数的输出是一个数值例如：输入输入今天的PM2.5值、温度、臭氧量等，输出明天的PM2.5值Classification：函数的输出是一个类别（选择题）例如：判断一封邮件是否为垃圾邮件。
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
李宏毅深度学习课件.rar
12-02
李宏毅教授是国际知名的机器学习专家，他在深度学习领域的教学经验丰富，其课程深受广大学习者喜爱。本压缩包“李宏毅深度学习课件.rar”包含了李宏毅老师深度学习课程的完整资料，旨在帮助学习者系统地理解和掌握...
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值