李沐-动手学深度学习-自动求导

最新推荐文章于 2024-07-19 00:10:45 发布
最新推荐文章于 2024-07-19 00:10:45 发布
阅读量442 收藏 1
点赞数 1
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60678226/article/details/124933699
版权

假设我们想对函数y = 2xTx，关于列向量x求导。并对x赋予初值。

在我们计算y 关于x 的梯度之前，我们需要一个地方来存储梯度。 重要的是，我们不会在每次对一个参数求导时都分配新的内存。 因为我们经常会成千上万次地更新相同的参数，每次都分配新的内存可能很快就会将内存耗尽。

 

我们通过调用反向传播函数来自动计算y关于x每个分量的梯度，并打印这些梯度。

默认情况下，会累积梯度，所以在求另一个函数的梯度时要进行清零操作 。

 当将清零代码进行注释时，

最低0.47元/天 解锁文章
啥都想学点的研究生
关注
1.动手学习深度学习课程安排及深度学习数学基础
kaszxc的博客
06-13 167
​ 首先，我们导入torch，注意，虽然它被称为pytorch，但我们应该导入torch而不是pytorch。矩阵相当于一个扭曲空间，把下图中的蓝线和绿线，扭曲到不同方向和长度。
李沐《动手学深度学习》课程笔记：07 自动求导
weixin_44850744的博客
02-25 796
07 自动求导 1.自动求导 2.自动求导实现
李沐 自动求导【动手学深度学习v2】
m0_73177878的博客
05-07 179
前向：需要存储所有中间结果反向：从相反方向执行图，可以去除不必要的枝，需要用到中间结果。
【李沐-动手深度学习v2】笔记整理-07自动求导
m0_51141265的博客
02-10 474
跟李沐动手深度学习v2-07自动求导
李沐【动手学深度学习V2】-自动求导（2023.06.19）
HZZC_的博客
06-19 171
具体来说，如果一个张量的 requires_grad 属性被设置为 True，那么在对该张量执行任何操作时，PyTorch 都会在后台构建一个计算图，并跟踪该张量的计算历史。requires_grad 是 PyTorch 张量（Tensor）的一个属性，它用于指示是否需要对该张量进行梯度计算。如果一个张量的 requires_grad 属性被设置为 True，那么 PyTorch 会在计算图中跟踪该张量的计算，并将其梯度累积到其对应的张量的 grad 属性中，以便进行反向传播算法的求导计算。
学习笔记-李沐动手学深度学习（一）（01-07，概述、数据操作、tensor操作、数学基础、自动求导（前向计算、反向传播））
ljmiiianng的博客
01-19 2224
【语言是一个符号】【深度学习是机器学习的一种】最热的方向：深度学习和CV、NLP结合【AI地图】① 如下图所示，X轴是不同的模式，最早的是符号学，然后概率模型、机器学习。Y轴是我们想做什么东西，感知是我了解这是什么东西，推理形成自己的知识，然后做规划。② 感知类似我能看到前面有个屏幕，推理是基于我看到的东西想象未来会发生什么事，根据看到的现象、数据，形成自己的知识，知道所有知识后能进行长远的规划，未来怎么做。
李沐-动手学深度学习-感知机及激活函数的介绍
qq_60678226的博客
05-31 1305
线性模型的不足：任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， 或者导致模型输出的减小（如果对应的权重为负）。 似然函数：似然函数是一种关于统计模型参数的函数。而p(x|θ)也是一个有着两个变量的函数。如果，你将θ设为常量，则你会得到一个概率函数（关于x的函数）；如果，你将x设为常量你将得到似然函数（关于θ的函数）。 下面举一个例子： 有一个硬币，它有θ的概率会正面向上，有1-θ的概率反面向上。θ是存在的，但是你不知道它是多少。为了获得θ的值，你做了一个实验：将硬币抛10次，得到了一个正
最全面的 深度学习 笔记【土堆 Pytorch】【李沐 动手学深度学习】【吴恩达 深度学习】
05-16
深度学习是机器学习的一个重要分支，通过模拟人脑的神经网络结构进行数据处理和模式识别。以下是三种重要的深度学习资源，它们涵盖了...李沐的《动手学深度学习》是一本非常适合初学者的教材，结合理论与实践，采用J
李沐动手学深度学习配套：pytorch代码解析
李沐博士在深度学习和自然语言处理领域有着广泛的研究，如果此处提及的李沐正是李沐博士，那么他所著或主导的“动手学深度学习配套”资源想必对初学者非常友好，因为它将理论与实践紧密结合，并且着重于动手实践来...
李沐动手深度学习07自动求导
最新发布
qq_45810274的博客
07-19 136
动手学深度学习——自动求导|CSDN创作打卡
m0_61686427的博客
01-19 2556
李沐老师自动求导的总结
利用Pytorch对函数y=2xTx 关于列向量x求导
m0_47585630的博客
05-10 797
利用Pytorch对函数y=2xTx 关于列向量 x求导。
pytorch线性代数的基本操作
努力学习，努力爱你！
09-18 827
如有问题，欢迎指正！
沐——《自动微分》
weixin_63840907的博客
12-14 241
注：1、深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。实际中，根据设计好的模型，系统会构建一个计算图(computational graph)，来跟踪计算是哪些数据通过哪些操作组合起来产生输出。自动微分使系统能够随后反向传播梯度。这里，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。2、torch.mul()、torch.mm()、torch.dot()与torch.mv()区别。
第一周作业：深度学习基础
Christine__的博客
09-06 241
第一次作业：深度学习基础 一、环境配置 在windows上安装Miniconda+Pycharm+pytorch 参考博客： https://blog.csdn.net/LLM1602/article/details/105280652 https://blog.csdn.net/suh666888/article/details/107621766 https://blog.csdn.net/m0_37908464/article/details/105832448 二、数据操作 入门 导入torch
深度学习——梯度
qq_59414507的博客
01-15 977
梯度专题
动手学深度学习——链式法则、自动求导及实现
橙子的博客
11-18 4956
1、向量链式法则 标量链式法则： 拓展到向量： 例子1： x,w是长为n的向量，y是一个标量。 z函数是x和w做累积减去y做平方。 计算z关于w的一个导数。对z进行分解。 例子2： X是mxn的一个矩阵，w是一个长为n的向量，y是一个长为m的向量 z为X乘以w减去y然后进行L2norm 计算z对w的导数 自动求导 自动求导计算了一个函数在指定值上的导数，他有别于符号求导，数值求导。 符号求导： 数值求导： 自动求导是怎么做出...
笔记：李沐《动手学深度学习》 -- 梯度计算
navprogramer的博客
12-01 1244
导数是切线的斜率 将导数拓展到向量就是梯度 梯度指向值变化最大的方向 与等高线正交 因为定义x是有梯度的张量， y作为x的函数 可以计算关于x的梯度 x = torch.arange(4.0) x.requires_grad_(True) x.grad y = torch.dot(x,x) 通过反向传播自动计算y关于x每个分量的梯度 y.backward() # 通过反向传播自动计算y关于x每个分量的梯度 x.grad x.grad == 2*x # 默认情况下pytorch会累...
《动手学深度学习》读书笔记：第2章 预备知识
weixin_44850744的博客
03-09 710
第2章 预备知识 2.1 获取和运行本书的代码 2.1.1 获取代码并安装运行环境 1.Windows用户 2.Linux/macOS用户 2.1.2 更新代码和运行环境 conda env update -f environment.yml 2.1.3 使用GPU版的MXNet 2.2 数据操作 2.2.1 创建NDArray ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值