Backpropagation 自用学习笔记

最新推荐文章于 2024-05-19 21:11:24 发布
最新推荐文章于 2024-05-19 21:11:24 发布
阅读量296 收藏
点赞数
文章标签： 学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PlutoLilian/article/details/126770389
版权

Why backpropagation

反向传播应用于深度学习的第二步，也就是不断调整参数使loss最小化的过程。

在这里插入图片描述

传统方法gradient descent是求loss的gradient，需要将loss对每一个参数求导得到一个很多维的向量。为了使更新参数更加高效，我们引入了反向传播的手段

What is backpropagation

我们先回顾一下微积分中的链式法则

在这里插入图片描述  

我们定义的loss function其实就是每个样本算出来的y向量与实际值y hat 向量的交叉熵之和。因此我们实际要解决的问题就是把Cn对每一个w求偏导

在这里插入图片描述

 在这里插入图片描述

 我们假设C和w之间有一个中间变量z，也就是图中第一层的输出，那么由链式法则我们可以写成如图的式子。其中dz/dw1=x1,dz/dw2=x2;我们可以发现规律：对哪一个w求导，其实就等于这个w对应的输入值。

在这里插入图片描述

 在这里插入图片描述

那么forward pass就是指：比如我们要求dC/dw1,就只需要一层一层链式分解，每一层的输入就是该层的dz/dw，输出就是下一层的输入，以此类推。。。 

 

PlutoLilian
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【自用】PyTorch 神经网络 学习笔记
Sherry_LiuYJ的博客
03-11 296
本文为PyTorch神经网络的学习笔记。欢迎批评指正。 神经网络可能会得出局部最优解而并非全局最优解，但有时局部最优解已经足够解决问题。 PyTorch用法 导入PyTorch，numpy与torch数据转换 import torch import numpy as np np_data=np.arange(6).reshape((2,3)) torch_data=torch.from_numpy(np_data)# numpy转换为torch tensor2array=torch_data.nu
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
机器学习与深度学习自用笔记
weixin_52950958的博客
08-24 368
机器学习与深度学习自用笔记
Pytorch学习笔记（二）自用
qq_39542170的博客
12-06 268
涉及资源 1.官网DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ 2.莫烦python 个人网站 、 b站视频、参考代码 3.函数搜索：https://pytorch.org/docs/stable/index.html 本周学习内容： CNN实现分类，识别MNIST数据集 以CNN为例，实现GPU加速 RNN实现分类，识别MNIST数据集 RNN实现回归，用sin去拟合cos 自编码 环境配置： python=3.7; torch=1.6.0; tor
Pytorch学习笔记（一）自用
qq_39542170的博客
11-06 260
涉及资源 1.官网DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ 2.莫烦python 个人网站 、 b站视频、参考代码 本周学习内容： Numpy torch对比 激励函数 pytorch实现Regression pytorch实现Classification pytorch快速搭建法实现Classification pytorch实现网络的保存与提取 pytorch实现batch_train pytorch实现optimizer性能比对 pytorch
TensorFlow2.0学习笔记（1）
qq_62434464的博客
09-06 202
纯小白自学防遗忘自用笔记！可直接绕路
【TD3思路及代码】【自用笔记】
weixin_64881847的博客
03-20 1195
td3
神经网络与深度学习【自用】
qq_61803559的博客
03-10 2183
自用
【PyTorch Tutorial学习笔记】PyTorch代码模板（自用）（一）
qq_39540454的博客
08-02 251
QUICKSTART
李宏毅深度学习自用笔记（未完）
weixin_61881981的博客
11-22 363
机器学习是要让机器找到一个函数，类似于语音识别（输入语音输出文字）、图像分类（输入图片，输出类别）、AlphaGO下围棋（输入棋盘状态输出下一步落棋位置）这样的函数。运用最多的是两大类函数：回归和分类。回归（Regression）：输出是一个连续的数值、标量。我的理解就是根据以往的数据对未知的一个预测。 应用：比如PM2.5的预测。分类（Classification）：输出是一个离散的值。 应用：二分类（Binary Classification），输出是0或1、Yes或No、正面或负面（情感分析）。 多分
机器学习 -- Backpropagation
01-30
Backpropagation Gradient Descent Chain Rule Backpropagation Backpropagation – Forward pass Backpropagation – Backward pass
Guided Backpropagation.zip
03-16
Guided Backpropagation.zip
Backpropagation.zip
07-04
在机器学习中，很多时候，任务是尝试创建一种能够根据一些输入数据给出特定结论的算法，并且该结论应基于一些较早收集的数据。此类任务的一个简单示例可能是找到学生学习考试所需的最少精力
A Step by Step Backpropagation Example阅读笔记
03-03
A Step by Step Backpropagation Example阅读笔记
FME学习之旅---day27
summer_corner的博客
05-17 272
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1380
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
引用实战学习
最新发布
qiuzhiuser的博客
05-19 122
【代码】引用实战学习。
学习kong官方文档
好好学习日记
05-17 330
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
Backpropagation算法
07-15
Backpropagation算法是一...这样，网络就能够学习到输入和输出之间的关系，并在新的输入上进行预测。 需要注意的是，Backpropagation算法通常与其他技术一起使用，如梯度下降、正则化等，以提高网络的性能和泛化能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值