【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法

最新推荐文章于 2024-10-02 01:49:36 发布
最新推荐文章于 2024-10-02 01:49:36 发布
阅读量158 收藏
点赞数
分类专栏： 李沐-动手深度学习笔记整理 文章标签： 深度学习 算法 线性回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51141265/article/details/128969880
版权

线性回归

线性回归是单层的神经网络模型
通过平方损失来衡量预测质量，1/2便于求导
在这里插入图片描述
训练损失：加均值
在这里插入图片描述

基础优化算法

梯度下降

梯度是上升最快的方向，负梯度即为下降最快的方向。因为该函数表示训练损失，所以要找下降最快的方向来更新参数
在这里插入图片描述
学习率即为每次的步长
学习率太小，步数多，计算梯度的次数多，太贵；而且陷入局部最优解
学习率太大，容易在最优解附近振荡
在这里插入图片描述

小批量随机梯度下降

抽样。通过计算b个样本的平均损失，代替总体然后进行优化，从而可在短时间内多迭代几次
在这里插入图片描述
批量大小的选择
批量太小：每次计算量太小，不适合并行来最大利用计算资源
批量太大：内存消耗增加；浪费计算，例如如果所有样本都是相同的

梯度下降通过不断沿着反梯度方向更新参数求解
小批量随机梯度下降是深度学习默认的求解方法
两个重要的超参数是：批量大小和学习率

线性回归的从零开始实现

不使用任何框架。
包括数据流水线、模型、损失函数、小批量随机梯度下降优化器

线性回归的简洁实现

使用框架，调用API

QA互动

liuuu0
关注
专栏目录
李沐【动手学深度学习V2】-线性回归+基础优化算法（2023.06.20）
HZZC_的博客
06-20 220
（1）（2）定义函数，此函数接受批量大小、特征矩阵和标签向量作为输入，生成大小为batch_size的小批量（3）定义初始化模型参数和定义模型（4）定义损失函数和优化算法（5）训练过程1floatf。
08 线性回归 + 基础优化算法【动手学深度学习v2】
冇毷氉的虬的博客
09-21 442
从零开始实现线性回归 1、根据带有噪声的线性模型构造一个人造数据集。使用线性模型参数w=[2,−3.4]T、b=4.2w=[2,-3.4]^T、b=4.2w=[2,−3.4]T、b=4.2和噪声项生成数据集及其标签： y=Xw+b+ɛ y=Xw+b+ɛ y=Xw+b+ɛ import random import torch from d2l import torch as d2l import os os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' def synthe
6李沐动手学深度学习v2/线性回归的简洁实现
求道问术
08-30 225
6李沐动手学深度学习v2/线性回归的简洁实现
【动手学深度学习v2】学习笔记03：线性回归、基础优化算法、线性回归实现
weixin_45800258的博客
09-12 475
本文详细讲解了深度学习中线性回归和基本优化算法的相关知识，并进行了从零开始的线性回归实现和简洁的线性回归实现。其中，使用了构造模型、读取数据集、损失函数、优化器和随机梯度下降等相关的知识和代码实现。本文有详细充足的代码，读者可以跟着文中的代码进行练习。
5李沐动手学深度学习v2/线性回归-从0开始实现
求道问术
08-30 170
5李沐动手学深度学习v2/线性回归-从0开始实现
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 1万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
1-3 动手学深度学习v2-线性回归的从零开始实现-笔记
Alkali!的博客
02-04 1585
将w随机初始化为一个均值为0，标准差为0.01的，大小为2行1列，requires_grad=True表示我们需要计算梯度# 将偏差b初始化为0，requires_grad=True表示我们需要计算梯度# 线性回归模型# 均方损失# 虽然按理来说，y_hat和y应该元素个数一样，但是可能一个是行向量，一个是列向量，这里把他们统一成一样的，# 这样就可以直接在y和y_hat之间进行元素对元素的操作了，比如计算差值或者逐元素的乘法。# 这里没有作均值 没有除以样本总数。
动手学深度学习v2笔记-Day2-线性回归
CabbSir的技术成长之路
09-27 329
李沐-动手学深度学习v2 线性回归模型实现
个人学习笔记7-6：动手学深度学习pytorch版-李沐
浪子L的博客
09-15 1301
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
李沐 softmax回归的从零开始实现【动手学深度学习v2】
m0_73177878的博客
09-11 1056
在实现softmax回归模型之前，先简要回顾一下sum运算符如何沿着张量中的特定维度工作。给定一个矩阵X，我们可以对所有元素求和]， 也可以只求同一个轴上的元素，即同一列（轴0）或同一行（轴1）。如果X是一个形状为(2,3)的张量，我们对列进行求和， 则结果将是一个具有形状(3,)的向量。当调用sum运算符时，我们可以指定保持在原始张量的轴数，而不折叠求和的维度。这将产生一个具有形状(1, 3)的二维张量。0是对列求和，得到一个行向量；1是对行求和，得到一个列向量。实现softmax的三个步骤：对。
李沐 softmax回归的简洁实现【动手学深度学习v2】
m0_73177878的博客
09-12 949
通过深度学习框架的高级API能更方便地实现softmax回归模型。本节同 :numref:，继续使用Fashion-MNIST数据集，并保持批量大小为256。softmax回归的输出层是一个全连接层， 因此，为了实现我们的模型， 我们只需在中添加一个带有10个输出的全连接层。 同样，在这里并不是必要的， 但它是实现深度模型的基础。 我们仍然以均值0和标准差0.01随机初始化权重。： PyTorch不会隐式地调整输入的形状。因此，在线性层前定义了展平层（flatten）来调整网络输入的形状。：这是一个全连接层
李沐 模型选择【动手学深度学习v2】
m0_73177878的博客
09-19 663
训练数据集:训练模型参数验证数据集:选择模型超参数非大数据集上通常使用k-折交叉验证。
动手学习深度学习-深度学习基础
qq_41273406的博客
07-09 762
本文章仅为本人在学习过程中的记录笔记，如有侵权，请联系。 李沐大神的课程地址：https://courses.d2l.ai/zh-v2/ 3.20课程 深度学习介绍：
《自然语言处理实战入门》深度学习基础 ---- Attention 注意力机制 ，Transformer 深度解析与学习材料汇总
shiter编写程序的艺术
07-23 1014
我们来交叉最有效的开源资料，综合的看看自然语言处理中最火的Transformer 和 Attention 机制的全貌！
基于深度学习的不遗忘训练
最新发布
weixin_42605076的博客
10-02 344
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
深度学习：DCGAN
Landy_Jay的博客
10-01 323
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
不想宅的冷同学
09-29 639
在本篇博文中，我们实现了一个基于LSTM的语言模型，探讨了其在自然语言处理中的重要性。通过对WikiText数据集的训练，我们了解了如何进行数据预处理、模型构建以及训练与评估过程。这一模型为理解语言生成打下了基础，也展示了如何使用PyTorch进行实际应用。随着对LSTM语言模型的深入理解，我们将在下一篇博文中转向更先进的Transformer模型及其在语言建模中的应用，期待与大家一同探讨Transformer如何提升自然语言处理的能力，并掌握束搜索等高效解码技术。希望继续激发大家对这一领域的热情与探索！
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
weixin_38594676的博客
09-26 991
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
李沐动手深度学习笔记
08-22
这本笔记以其深入浅出的方式讲解深度学习基础知识，包括神经网络、卷积神经网络（CNN）、循环神经网络（RNN）、优化算法等内容。它不仅适合初学者入门深度学习，也对有一定基础的学习者提供实用的实践指导。通过该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值