李宏毅ML+DL学习记录：BP

最新推荐文章于 2022-11-27 13:28:28 发布
最新推荐文章于 2022-11-27 13:28:28 发布
阅读量164 收藏
点赞数
分类专栏： 李宏毅ML+DL
小陈一行一行地敲出来的啦~
本文链接：https://blog.csdn.net/weixin_41391619/article/details/104451712
版权

我们要根据loss function（设为L）来更新各参数wi,那么就要算L对wi的偏微分，如果正向算会很复杂，我们采用BP思想。
在这里插入图片描述

（PS：在计算L对Z5的偏微分的时候，L对Z7、Z8的偏微分是已知的；同理，计算L对Z3的偏微分时,L对Z5、Z6的偏微分是已知的。）在这里插入图片描述

缦旋律
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DL+ML集成学习--附思维导图
BetterBench的博客
03-15 267
1 模型融合 把强分类器进行强强联合，使得模型融合后的模型效果更强 投票法 线性融合 Stacking 机器学习元算法 将弱分类器通过学习算法集成起来，变成很强的分类器 Bagging 个体学习器不存在依赖关系，可同时对样本随机采样并行化生成个体学习器。代表作为随机森林(Random Forest) Boosting 个体学习器存在依赖关系,基于前面模型的训练结果误差生成新的模型，必须串行化生成。代表的算法有：Adaboost、GBDT、XGBoost ...
李宏毅DLHLP.02.Speech Recognition.1/7
老毛的博客
08-10 846
文章目录介绍 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html B站视频：https://www.bilibili.com/video/BV1EE411g7Uk?t=222 公式输入请参考：在线Latex公式 Speech: a sequence of vector (lengt
李宏毅DL视频课01-Regression
yang_live的博客
03-05 188
Regression Model Goodness of function: Grandient Descent ps:最下面一行应该是w1减去w1的偏微分，b同理。 梯度： 老生常谈的“局部最优” 这种情况不会出现local optimal，因为他们的等高线是一样的。 偏微分求解过程： ...
DL&ML基础学习五
olu
01-26 697
CNN应用在NLP自然语言处理上面，基本原理是输入是一句话，将一句话分词，每个词表示成一个向量，作为矩阵的一行，所以一句话形成一个矩阵，这个矩阵就类似于图片的像素点矩阵作为输入。该矩阵作为CNN的输入数据。此时CNN的卷积核的特点在于其每个卷积核的宽度都和输入数据的长度相同，宽度仍然是超参。其他原理相同。CNN的优势一个是快速，他可以并行运算，而且前后不具有依赖性。他的表示效果更有效。CNN的卷积...
李宏毅《机器学习》（DL方向）阶段性总结
最新发布
weixin_50967907的博客
11-27 510
李宏毅机器学习的组队学习告一段落，接下来我们对最近的内容做一期总结，承上启下，后面接着好好干！本文提供一个应用示例，用的数据集是fashion-mnist。
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
ML2017-笔记：李宏毅机器学习2017个人笔记
02-03
《李宏毅机器学习2017个人笔记》是一份详尽记录了2017年李宏毅教授机器学习课程精髓的笔记资料。这份笔记以其深入浅出的讲解方式和丰富的实例，成为了学习者探索机器学习领域的宝贵资源。笔记采用LaTeX排版，结构...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅ML作业3: 食物分类(kaggle预测与报告题目)
07-12
李宏毅ML作业3: 食物分类, kaggle预测与报告题目实作源码, 配合博客阅读: https://blog.csdn.net/lagoon_lala/article/details/118425354
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ ...
mlbp算法matlab code
07-25
有注释，网上介绍计算机视觉方面这个算法的不多，看代码有助于理解
李宏毅学习笔记8.Hello world of DL
老毛的博客
05-30 415
文章目录前言Keras历史Keras的三板斧第一步：第二步：第三步：Mini-batch快在哪里？（SGD vs Mini-batch）模型的评估与预测 前言 这节课应该是比较简单，基本都是演示为主，老师开始就讲了为什么本次选择Keras而不少TensorFlow的原因。，然后讲如何用Keras来进行机器学习的三板斧，最后讲了一些关于mini batch的知识，后面还有演示的示例。 **原因：**...
【学习笔记】李宏毅2020ML&DL课程 1_6-6_6 Network Compression
锥栗的博客
04-14 235
Network Compression 1_6 先train好一个大的network，然后评估network中哪些neuron重要，哪些不重要。如果weight接近0可能是不重要的weight。给一个input，如果output几乎都是0，那这个neuron就不重要。 将这些neuron按照重要性排序，移除不重要的weight和neuron。移除最不重要的weight或neuron，所以perfo...
【李宏毅2022机器学习】笔记一：ML/DL框架；反向传播；回归；Pytorch使用
一亿少女的梦
03-16 1521
李宏毅2021/2022春机器学习课程 目前进度P15Regression
李宏毅DL课程学习-Classification
m0_37870385的博客
05-28 227
本文所有图片出自李老师课程PPT 分类问题主要就是输入某个变量，这个变量可以含有很多维特征，通过回归输出变量的整个后验分布，从而可以获得该变量的类别。 首先，针对最简单的二分类问题，有 为了求得 P(x∣C1),P(x∣C2)P(x|C_1), P(x|C_2)P(x∣C1​),P(x∣C2​) 我们需要假定两种类别数据的分布规律遵循一种先验的分布，比如Gaussian，利用 MLEMLEMLE 的方法可以估计出分布的参数（或者利用 ParzenWindowParzenWindowParzenWind.
15、【李宏毅机器学习（2017）】Unsupervised Learning: Neighbor Embedding（无监督学习：邻域嵌套）
Jimmyzqb的博客
08-29 4021
上一篇博客介绍了无监督学习在文字中的降维方法——Word Embedding，本篇博客将继续介绍无监督学习算法的降维方法——Neighbor Embedding。 目录 Locally Linear Embedding (LLE) Laplacian Eigenmaps T-distributed Stochastic Neighbor Embedding (t-SNE) t-SNE算...
李宏毅ML+DL学习记录：explainable ML
weixin_41391619的博客
02-29 324
       explainable ML 主要是用来告诉你NN为什么会给出这样的结果，可分为两种：        ①.local explanation:why does the NN think this image is a cat?        ②.global exp...
李宏毅ML+DL学习记录:ensemble
weixin_41391619的博客
03-07 135
1.bagging 构成bagging的model是比较complex的，即比较容易overfit 它的思想是：一共有N个样本，做有放回抽样，抽出N个样本，如此重复几次，形成多组样本数同样为N的样本组。然后分别用这几组样本训练出多个分类器，然后把多个分类器的结果做平均（or voting）得到最终的结果。 ps:一般来说，在训练多个分类器的时候，属性也是随机抽取的。比如一共有20个属性，训练每个分...
5、【李宏毅机器学习（2017）】Logistic Regression（Logistic回归）
Jimmyzqb的博客
08-28 4561
本篇博客将在分类模型基础上继续，并开始学习一种常用的分类算法——Logistic回归，同样按照机器学习简介中机器学习建模步骤。 目录 step1 step2 step3 Logistic Regression与Linear Regression 差异 为什么在Logistic回归中使用Cross entropy而非MSE做模型选择的标准？ Multi-class Classific...
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值