线性回归和基础优化算法（李沐深度学习课程，自用）

小姚今天有好好学习嘛

已于 2022-06-06 17:51:55 修改

阅读量134

点赞数

分类专栏： Pytorch学习笔记文章标签：线性回归算法回归

于 2022-06-02 15:22:29 首次发布

本文链接：https://blog.csdn.net/qq_43199042/article/details/124783896

版权

Pytorch学习笔记专栏收录该内容

3 篇文章

订阅专栏

线性回归

平方损失定义：

$\zeta (y,\widehat{y})=\frac{1}{2}(y-\widehat{y})^{\2}$

前有一个1/2是因为在求导时可以消去。

线性回归可以看作是单层的神经网络模型。

基础优化算法

梯度下降

$W_{t}=W_{t-1}-\eta \frac{\partial \iota }{\partial W_{t-1}}$

（1）学习率

$\eta$ 是学习率，属于超参数，需要人为指定

太小会导致算法计算量过大且易陷入局部最优（个人理解）

太大会导致很难收敛（个人理解）

（2）小批量梯度下降

一般使用的方法为小批量梯度下降，即选取原始数据中的一小部分计算损失函数。小批量的大小b也是一个超参数。（计算所有原始数据梯度的计算量过大）

小批量梯度下降一般是深度学习默认算法，优点：稳定简便

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小姚今天有好好学习嘛

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

深度学习笔记4：线性回归+基础优化方法

qq_49407329的博客

08-17

684

学习李沐老师的深度学习（pytorch），做的笔记4（视频8）~~~

李沐-动手学深度学习-线性回归

qq_60678226的博客

05-24

993

回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。线性模型可以看做是单层神经网络。 线性回归是对n维输入的加权，外加偏差。使用平方损失来衡量预测值和真实值的差异。 线性回归具有显示解。基础优化算法：梯度下降步骤1：挑选一个初始值w0 步骤2：重复迭代参数沿梯度方向将增加损失函数值 学习率：步长的超参数 学习率：不能太小：效率低；也不能太大：震荡没有下降；总结：梯度下降通过不断沿着反梯度方向更新参数求解小批量随机梯度下降是深度学习默认的

参与评论您还未登录，请先登录后发表或查看评论

李沐-线性回归+基础优化算法

qq_36136196的博客

07-06

347

线性回归 线性模型衡量预估质量训练数据参数学习显式解基础优化算法 梯度下降选择学习率：不能太大，也不能太小小批量随机梯度下降选择批量大小：不能太大，也不能太小总结 线性回归的从零开始实现 1.生成人造数据集,真值 features是每一行都包含一个二维数据样本呢,labels是每一啊很难过一个标量定义一个data_iter 定义初始化模型参数，定义模型定义损失函数，定义优化算法 此处/batch_size是在损失函数没有做，所以放到梯度这一块来做训

跟着李沐学深度学习-线性回归（代码自敲自用）

gongpan2468的博客

01-11

426

【代码】跟着李沐学深度学习-线性回归（代码自敲自用）

李沐深度学习踩坑随记

Remo_jun的博客

10-18

385

自用踩坑笔记，毕竟视频比较老，技术更新换代快，会出现兼容等各种问题，并非学习笔记。

【自用】动手学深度学习——跟李沐学AI要点

qq_73462547的博客

09-09

1695

自用，是学习实时笔记，未条条记录，没有进一步加工组织语言，按需查看。

从零实现线性回归（自用）

cat_lovely的博客

09-19

113

因为自己太菜了，很多不太理解，所以写了很多注释和自己的思考方便以后查阅和回顾。代码来源于李沐深度学习中不适用框架实现深度学习的那个视频。

纽约大学深度学习PyTorch课程笔记（自用）Week7

weixin_43589205的博客

08-15

786

纽约大学深度学习PyTorch课程笔记

李沐：用随机梯度下降来优化人生

算法码上来

09-26

283

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | 李沐CMU 亚马逊首席科学家出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-今天看到李沐发表的一篇文章：《...

anomaly detection学习笔记（自用）

smallbig12的博客

06-29

3328

记录一下学习anomaly detection的学习过程以及每日计划。

李沐：创业一年，人间三年

技术杂谈

09-23

420

AI 时代学什么，怎么学/ 2024.98月14日晚上，李沐在他自己运营的B站和知乎专栏里发布了一篇创业一年的复盘文章：《创业一年，人间三年》，分享了他大模型创业第一年的进展、纠结和反思。看罢高数三剑客（微积分、线性代数、概率论）和AI的关系，我们把眼光移向远方，看一看大神们都走到了哪里。本文来自：李沐给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。在 Amazon 呆到第五年的时候就想...

08线性回归+基础优化算法(手动实现).zip

07-31

一个深度学习代码练习仓库,主要包含了李沐老师的动手学习深度学习课程的相关代码实现。主要功能点实现了从零开始的深度学习模型,如线性回归、Softmax 回归、多层感知机等。实现了经典的卷积神经网络模型,如 ...

跟李沐学AI-动手学深度学习-线性回归+基础优化算法

哇哈哈哈的博客

09-06

716

回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售销量）等。但不是所有的预测都是回归问题。 线性回归 eg：房价预测：一个简化模型假设1：影响房价的关键因素是卧室个数、卫生间个数和居住面积，记为x

李沐深度学习-线性回归从零开始

qq_43401942的博客

01-19

464

【代码】李沐深度学习-线性回归从零开始。

C++编程学习笔记：函数相关特性、引用与编译流程

nplplus的博客

03-29

1460

在深入学习C++编程的过程中，函数特性、引用机制以及编译流程都是极为关键的知识点。通过学习，我对这些内容有了更为透彻的理解，在此进行详细梳理与记录。

深入解析力扣39.组合总和：回溯算法的妙用

最新发布

2302_81116822的博客

04-01

323

给定一个无重复元素的数组candidates和一个目标值target，找出candidates中所有可以使数字和为target的组合。数组中的数字可以被重复使用。

算法：高精度加法C++

hongjianMa的博客

03-31

460

高精度加法是处理大数运算的基础算法，核心思想是模拟手工加法过程。通过逆序存储数字、逐位相加并处理进位，可以有效地解决大数相加的问题。这个算法是许多高精度运算（如减法、乘法等）的基础，掌握它对后续学习其他高精度算法很有帮助。

【数据结构与算法】Java描述：第六节：排序算法（直接插入排序，希尔排序）

qq_75234423的博客

03-29

881

排序算法简单来说就是把一串数据，以想要的顺序排列起来，例如从大到小，从小到大，这篇文章来介绍一下常见排序算法中的插入排序算法。

通信算法之250 ：时频图谱（如短时傅里叶变换STFT、连续小波变换CWT或Wigner-Ville分布）

leegang12的专栏

04-01

536

调频起始和终止频率。% 生成线性调频信号。% 窗函数（汉宁窗）imagesc(t, f, 20*log10(abs(S)));STFT是时频分析的基础方法，适合快速观察信号频率随时间变化的趋势。% 生成示例信号（突增频率+瞬态脉冲）

李沐深度学习线性回归

01-12

### 李沐深度学习中的线性回归 #### 实现线性回归模型在李沐的《动手学深度学习》教程中，通过仅使用`NDArray`和`autograd`实现了线性回归训练过程[^1]。具体来说，在初始化阶段，定义了权重和偏差作为可训练参数，并设定了初始值。为了更好地理解这个概念，下面是一个简单的Python代码片段用于展示如何构建这样的模型： ```python def linreg(X, w, b): """线性回归模型""" return nd.dot(X, w) + b ``` 此函数接收输入特征矩阵X以及两个参数w（权重）和b（偏置项）。它返回预测的目标变量Y帽，这是基于当前设定的权重和偏移计算得出的结果。接着，对于损失函数的选择上，通常采用均方误差(MSE)，因为它能够有效地衡量实际输出与预期之间的差异程度: ```python def squared_loss(y_hat, y): """均方损失""" return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2 ``` 这里需要注意的是，当处理真实标签时，应该将其形状调整为与预测值相同的形式以便于后续操作。最后，在更新规则方面，则运用到了梯度下降的思想。正如所提到的学习率决定了每次迭代过程中沿着最陡峭路径前进的距离；而负梯度则指示出了应当朝哪个方向移动才能使目标函数最小化[^2]: ```python def sgd(params, lr, batch_size): for param in params: param[:] = param - lr * param.grad / batch_size ``` 这段代码展示了简单的小批量随机梯度下降(SGD)方法，其中包含了三个主要组成部分——待优化的参数列表、选定的学习速率lr以及批次大小batch_size。