李沐DL代码学习记录——线性回归 + 基础优化算法

最新推荐文章于 2024-10-17 11:39:06 发布
最新推荐文章于 2024-10-17 11:39:06 发布
阅读量309 收藏 4
点赞数 9
分类专栏： 李沐DL代码学习记录 文章标签： 算法 学习 线性回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Olivia_Wei_10086/article/details/137643642
版权
本文探讨了梯度下降中的学习率策略，强调了梯度指向损失函数增加最快方向而非减少最快。讲解了小批量随机梯度下降和线性回归的实现，涉及`torch`库的`backward()`和`trainer`作用，以及学习率衰减和每次batch后重置梯度的重要性。
摘要由CSDN通过智能技术生成

基础优化算法

在这里插入图片描述

梯度下降时，为什么减去学习率乘梯度，梯度是上升最快的方向吗

在这里插入图片描述

梯度确实指向损失函数增长最快的方向吗，如果是负数不是减少最快的方向吗

在这里插入图片描述

小批量随机梯度下降

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

线性回归的从零开始实现

yield关键字 返回返回一个迭代器对象

在这里插入图片描述
在这里插入图片描述

定义优化算法代码解析，即参数的更新

！！！将梯度除以批量大小是为了对梯度进行标准化，不受批量大小的影响

在这里插入图片描述
在这里插入图片描述

backward()的作用域（计算图）和torch.no_grad()的作用（节省内存和开销）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

每个batch size就更新一次梯度，epoch的作用

在这里插入图片描述

线性回归的简单实现

这里的_就地操作，net[0].weight.data.normal_(0,0.01)与net[0].bias.data.fill_(0)

在这里插入图片描述

训练代码解析

trainer.zero_grad()和 trainer.step()分别干了什么

在这里插入图片描述

trainer.zero_grad()为什么是trainer调用，而不是l调用

在这里插入图片描述

backward为什么是l调用，损失张量是计算图的最终输出

在这里插入图片描述

QA

随机梯度下降的随机是指

在这里插入图片描述

一个知识点——学习率衰减，问题不大

在这里插入图片描述

每个batch计算的时候,记得把剃度先清零

知我昭昭
关注
专栏目录
李沐深度学习-线性回归简洁实现
qq_43401942的博客
01-19 456
【代码】李沐深度学习-线性回归简洁实现。
03.3线性回归的简洁实现
weixin_45063703的博客
09-03 516
首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层然后将第一层的输出作为第二层的输入，以此类推。在下面的例子中，我们的模型只包含一个层，因此实际上不需要Sequential。但是由于以后几乎所有的模型都是多层的，在这里使用Sequential会让你熟悉“标准的流水线”。# nn是神经网络的缩写在PyTorch中，全连接层在Linear类中定义。
动手学深度学习-08线性回归+基础优化算法时的一些问题
qq_44527508的博客
03-24 1385
出现以上问题的原因是matplotlib版本过高，将高版本的matplotlib卸载，安装低版本的matplotlib即可。%matplotlib inline只能在ipython或jupyter notebook中用。%matplotlib inline作用是在console生成图像，而不用弹窗显示。版本查看可使用pip list命令）当前d2l包的版本是。
CV入门笔记1——李沐手动深度学习08线性回归从零开始，代码注释
Astrid44的博客
02-05 802
跟着李老师敲了一遍代码，结合评论和弹幕的各位dl，对代码进行了初学者水平的注释，跑出来的最简单的线性回归模型。当然这个就是面对和我一样刚入门的小白，对于python也可以说是零基础，非常非常非常通俗了。
【动手学深度学习（pytorch版）】笔记1——线性回归
qq_39565461的博客
02-14 494
想着趁着疫情在家，安心学习一下。加入了Datawhale的公益课程“14天挑战《动手学深度学习》（Pytorch版）”，李沐大神的书早就买了，可是MXNet一直让我望而却步，刚好有这次机会学习Pytorch版的，何乐而不为呢？ 刚好需要打卡，便写系列博客用于记录学习过程中的一些想法及笔记吧。 第一天，当然就是机器学习的“Hello World”了——线性回归 线性回归 本节对应《动手学深度学习》第...
【DL】使用pytorch从零实现线性回归
qq_43557907的博客
09-15 709
学习李沐老师《动手学深度学习》中线性回归课程的个人总结
【DL】使用pytorch的线性回归简洁实现
qq_43557907的博客
09-18 529
从零实现线性回归此内容主要依据李沐老师的《动手学深度学习》课程，同时结合了网络上其它资料和自己的理解。对于标准深度学习模型，我们可以使用框架的预定义好的层。我们首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起，类似于按序列存放各种层的容器。当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。由于线性回归相当于单层神经网络，实际上不需要Sequential。
动手学深度学习-（李沐）PyTorch版本
weixin_64338372的博客
04-04 8961
《动手学深度学习》PyTorch版本和TendorFlow版本（内有所有代码和PDF版下载地址）
第3章3.1节-线性回归【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-29 739
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 ...
李沐老师的PyTorch 版《动手学深度学习》PDF 开源了（全中文，支持 Jupyter 运行）
热门推荐
Machine Learning with Tutors
01-02 2万+
李沐，亚马逊 AI 科学家，也是我在Amazon实习时的大BOSS。由李沐、Aston Zhang 等人合力打造的《动手学深度学习》正式上线，免费供大家阅读。这是一本面向中文读者的能运行、可讨论的深度学习教科书 李沐的这本《动手学深度学习》也是使用 MXNet 框架写成的。但是很多入坑机器学习的萌新们使用的却是 PyTorch。如果有教材对应的 PyTorch 实现代码就更好了~ 撒花，最...
第3章(3.2～3.7节)线性/Softmax回归实现【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-30 816
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 文章...
cv算法工程师学习成长路线
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
11-15 4161
本文内容为 cv 算法工程师成长之路上的经典学习教材汇总，对于一些新兴领域则给出了较好的博客文章链接。本文列出的知识点目录是成系统且由浅至深的，可作为 cv 算法工程师的常备学习路线资料。部分学习资料存在离线 PDF 电子版，其可在 github仓库-cv_books 中下载。
Javascript算法——双指针法移除元素、数组去重、比较含退格字符、有序数组平方
最新发布
警警的博客
10-17 297
暴力求解法（两层for循环）,length单词拼写错误❌二次嵌套for的length设置。return位置❌ ,核心基础。双指针法（一层for循环）
【算法】深入了解 CRC 校验码的计算过程
qq_20623849的博客
10-16 446
CRC（循环冗余校验，Cyclic Redundancy Check）是一种常见的错误检测方法，它通过生成冗余码来确保数据传输的可靠性。在这篇文章中，我们将探讨 CRC 码的基本原理，并详细介绍其计算过程。通过对数据进行 CRC 校验，我们可以在传输过程中检测到潜在的错误并采取适当的纠正措施。这个新的数据包在传输时，如果接收方再次计算 CRC 校验码并与附带的校验码进行比较，可以确定数据是否在传输过程中出现了错误。：将附加了零位的数据通过生成多项式进行二进制除法运算，得出的余数就是 CRC 校验码。
在顺序结构和链式结构的线性表上实现顺序检索算法
m0_56332819的博客
10-13 256
在顺序结构和链式结构的线性表上实现顺序检索算法，C语言
力扣10.13
qq_40052678的博客
10-13 395
如果鸡蛋碎了，你就不能再次使用它。如果某枚鸡蛋扔下后没有摔碎，则可以在之后的操作中 重复使用 这枚鸡蛋。每次操作，你可以取一枚 没有碎 的鸡蛋并把它从任一楼层。，以此类推，因此只需要判断最后的层数是否超过建筑高即可。楼层或比它低 的楼层落下的鸡蛋都 不会碎。函数传入操作次数k，可以发现，最优情况一定先在。确切的值 的 最小操作次数 是多少？的楼层落下的鸡蛋都 会碎 ，从。枚相同 的鸡蛋，和一栋从第。请你计算并返回要确定。
Python 使用 Jarvis 算法或包装的凸包（Convex Hull using Jarvis’ Algorithm or Wrapping）
csdn_aspnet的专栏
10-14 1166
例如，当输入 (0, 3), (0, 0), (0, 1), (3, 0), (3, 3) 时，它产生 (0, 3) (0, 0) (3, 0) (3, 3) 的输出；当输入 (0, 3), (0, 1), (0, 0), (3, 0), (3, 3) 时，输出为 (0, 3) (0, 1) (0, 0) (3, 0) (3, 3)。下一个点被选为在逆时针方向上领先于所有其他点的点，即，如果对于任何其他点 r，我们有“orientation(p, q, r) = 逆时针”，则下一个点是 q。
【鸟类识别系统】Python+卷积神经网络算法+人工智能+深度学习+ResNet50算法+计算机课设项目
子午的博客
10-12 1037
鸟类识别系统。本系统采用Python作为主要开发语言，通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型，然后进行模型的迭代训练，得到一个识别精度较高的模型，然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面，实现用户上传一张鸟类图像，识别其名称。本项目通过人工智能技术实现对鸟类图像的自动识别，满足用户在日常生活中快速、准确地识别鸟类的需求。
PMRF：一种新的图像恢复算法 高质量修复图像 降低图像失真还原跟自然逼真度
GDL_MPY的博客
10-14 978
（Posterior-Mean Rectified Flow，后验均值修正流）是一种新提出的图像恢复算法，旨在解决图像恢复任务中的。在去噪、超分辨率、修复等不同图像恢复任务中，PMRF能够在多个图像质量评估指标（如PSNR、SSIM、FID等）上表现出色，且没有明显的弱点，展示了其在多任务环境下的稳健性。图像恢复任务（如去噪、超分辨率、盲恢复等）中，常常需要在（如均方误差MSE）和（如图像的真实感和自然度，使用FID、SSIM等衡量）之间做权衡。
深度学习实践：李沐老师的Pytorch代码笔记
- 代码笔记可能包含了基础的线性回归、逻辑回归、多层神经网络等模型的实现。 - 同时，也可能包括一些高级话题，例如循环神经网络（RNN）、卷积神经网络（CNN）、迁移学习等。 4. 代码运行与问题解决： - 提供的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值