李沐 自动求导【动手学深度学习v2】

已于 2024-05-07 20:35:11 修改
阅读量174 收藏
点赞数 3
分类专栏： 李沐【动手深度学习】笔记 文章标签： 深度学习 人工智能
于 2024-05-07 20:34:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73177878/article/details/138543592
版权

向量链式法则

标量链式法则

拓展到向量

例一

例二

自动求导

计算一个函数在指定值上的导数

计算图

  • 将代码分解成操作子（一步步展开）
  • 将计算表示成无环图

  • 显式构造

  • 隐式构造

自动求导的两种模式

反向累积总结

前向：需要存储所有中间结果

反向：从相反方向执行图，可以去除不必要的枝，需要用到中间结果

复杂度

更常用的为反向累积

o(╯□╰)o亚比囧囧囧
关注
专栏目录
李沐-动手学深度学习-自动求导
qq_60678226的博客
05-23 432
假设我们想对函数y = 2xTx，关于列向量x求导。并对x赋予初值。 在我们计算y 关于x 的梯度之前，我们需要一个地方来存储梯度。 重要的是，我们不会在每次对一个参数求导时都分配新的内存。 因为我们经常会成千上万次地更新相同的参数，每次都分配新的内存可能很快就会将内存耗尽。 我们通过调用反向传播函数来自动计算y关于x每个分量的梯度，并打印这些梯度。 默认情况下，会累积梯度，所以在求另一个函数的梯度时要进行清零操作。 当将清零代码进行注释时，梯度会累加： 当y不是标...
李沐的动手学深度学习的windows环境安装说明
07-06
### 李沐的动手学深度学习的Windows环境安装说明 #### 一、环境搭建 **1.1 安装 CUDA 和 cuDNN** 在搭建深度学习环境时，CUDA（Compute Unified Device Architecture）与 cuDNN（CUDA Deep Neural Network ...
【李沐深度学习笔记】自动求导实现
随手写写
09-23 158
本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。
自动求导（李沐老师课程）
2401_87085787的博客
09-03 491
深度学习中我们的目的不是计算微分矩阵，而是批量中每个样本单独计算偏导数之和。# 等价于y.backward(torch.ones(len(x)))# 对非标量调用的backward需要传入一个gradient参数。u = y.detach() # 把u当作常量不计入x。print(x.grad) # 默认是None。自动求导的实现假设对函数y=2X.T*X。即便构建函数控制流，依然可以求导计算梯度。将某些计算移到计算图之外。梯度会累积所以要清零。
李沐-动手学习深度学习v2
Ashley_ly的博客
11-03 1058
李沐-动手学深度学习笔记
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 1万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
李沐 自动求导实现【动手学深度学习v2】
m0_73177878的博客
05-07 671
中所说，求导是几乎所有深度学习优化算法的关键步骤。虽然求导的计算很简单，只需要一些基本的微积分。但对于复杂的模型，手工进行更新是一件很痛苦的事情（而且经常容易出错）。深度学习框架通过自动计算导数，即自动微分来加快求导。实际中，根据设计好的模型，系统会构建一个计算图， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。自动微分使系统能够随后反向传播梯度。这里，反向传播意味着跟踪整个计算图，填充关于每个参数的偏导数。
学习笔记-李沐动手学深度学习（一）（01-07，概述、数据操作、tensor操作、数学基础、自动求导（前向计算、反向传播））
ljmiiianng的博客
01-19 1975
【语言是一个符号】【深度学习是机器学习的一种】最热的方向：深度学习和CV、NLP结合【AI地图】① 如下图所示，X轴是不同的模式，最早的是符号学，然后概率模型、机器学习。Y轴是我们想做什么东西，感知是我了解这是什么东西，推理形成自己的知识，然后做规划。② 感知类似我能看到前面有个屏幕，推理是基于我看到的东西想象未来会发生什么事，根据看到的现象、数据，形成自己的知识，知道所有知识后能进行长远的规划，未来怎么做。
自动求导（动手学深度学习v2）
Recursions的博客
04-13 1480
import torch x = torch.arange(4.0) print(x) x.requires_grad_(True)#存梯度 x.grad print(x.grad) y = 2 * torch.dot(x, x) print(y) #反向传播计算y关于x每个分量梯度 y.backward() print(x.grad) print(x.grad == 4 * x) #默认情况会累积梯度 x.grad.zero_() y = x * x y.sum().backward() prin.
4李沐动手学深度学习v2/自动求导
求道问术
08-29 253
4李沐动手学深度学习v2/自动求导
李沐老师的动手学深度学习（Pytorch版）的课上代码笔记
08-20
全部都能运行，如果不能可以私信我，我看到会回复；如果有课内代码不能运行的情况，可以与我私信，我会告诉你如何修改！
动手学深度学习课程作业和答案
03-21
本资源"动手学深度学习课程作业和答案"提供了一个学习深度学习的实践平台，帮助学生和研究人员巩固理论知识，提升实战技能。 在深度学习中，我们通常会涉及以下几个核心概念： 1. **神经网络**：神经网络是深度...
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-softmax
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——softmax
LSTM（长短时记忆网络）
m0_73697499的博客
10-09 925
LSTM是RNN的一种扩展形式，专门针对长期依赖问题进行了优化。通过引入细胞状态和门控机制，LSTM能够更好地管理信息流，从而在序列建模任务中表现得更加出色。无论是文本生成、机器翻译还是语音识别，LSTM都展现出了强大的潜力。
深度学习(8):Sentiment Analysis on Movie Reviews
最新发布
qq_51976556的博客
10-12 767
PhraseId: 每条评论的唯一标识符。一条评论可以包含多个句子（Sentence）。SentenceId: 句子的唯一标识符。一个句子可以包含多个短语（Phrase）。Phrase: 具体的短语文本，表示电影评论的一部分。Sentiment:情感标签，表示这条短语的情感分类。情感分类共有五个等级：0：消极情感（negative）1：有点消极情感（somewhat negative）2：中性情感（neutral）3：有点积极情感（somewhat positive）
《人工智能（AI）和深度学习简史》
JellyAI的博客
10-08 1608
FLUX.1 (2024)：Black Forest Lab 推出了FLUX.1，这是一个先进的扩散模型，用于AI图像生成，具有出色的速度、质量和对提示的响应能力。1969年，XOR问题暴露了感知器（单层神经网络）的局限性。• GPT (2018)：生成式预训练Transformer（Generative Pre-trained Transformer），由OpenAI提出，是一个自回归的、仅使用解码器的Transformer模型，专注于预测文本序列中的下一个单词，展现了出色的语言理解和生成能力。
《深度学习》LSTM 长短期记忆网络 结构及原理解析
wx_AHao1004Y的博客
10-09 1281
LSTM网络，全称长短期记忆网络（Long Short-Term Memory network），是一种特殊的循环神经网络（RNN）架构，大部分与RNN模型相同，但它们用了不同的函数来计算隐状态h，旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM网络通过引入自循环的巧妙设计，使得信息能够在网络中长期保留或遗忘，从而能够捕获长距离的时间依赖关系。
李沐动手学深度学习配套：pytorch代码解析
李沐博士在深度学习和自然语言处理领域有着广泛的研究，如果此处提及的李沐正是李沐博士，那么他所著或主导的“动手学深度学习配套”资源想必对初学者非常友好，因为它将理论与实践紧密结合，并且着重于动手实践来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值