线性回归和基础优化算法（李沐深度学习课程，自用）

已于 2022-06-06 17:51:55 修改
阅读量134 收藏
点赞数
分类专栏： Pytorch学习笔记 文章标签： 线性回归 算法 回归
于 2022-06-02 15:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43199042/article/details/124783896
版权

线性回归

        平方损失定义：

\zeta (y,\widehat{y})=\frac{1}{2}(y-\widehat{y})^{\2}

        前有一个1/2是因为在求导时可以消去。

        线性回归可以看作是单层的神经网络模型。

基础优化算法

梯度下降

W_{t}=W_{t-1}-\eta \frac{\partial \iota }{\partial W_{t-1}}

（1）学习率

        \eta是学习率，属于超参数，需要人为指定

        太小会导致算法计算量过大且易陷入局部最优（个人理解）

        太大会导致很难收敛（个人理解）

（2）小批量梯度下降

        一般使用的方法为小批量梯度下降，即选取原始数据中的一小部分计算损失函数。小批量的大小b也是一个超参数。（计算所有原始数据梯度的计算量过大）

        小批量梯度下降一般是深度学习默认算法，优点：稳定简便

李沐-线性回归+基础优化算法
qq_36136196的博客
07-06 347
线性回归 线性模型 衡量预估质量 训练数据 参数学习 显式解 基础优化算法 梯度下降 选择学习率：不能太大，也不能太小 小批量随机梯度下降 选择批量大小：不能太大，也不能太小 总结 线性回归的从零开始实现 1.生成人造数据集,真值 features是每一行都包含一个二维数据样本呢,labels是每一啊很难过一个标量 定义一个data_iter 定义初始化模型参数，定义模型 定义损失函数，定义优化算法 此处/batch_size是在损失函数没有做，所以放到梯度这一块来做 训
跟着李沐学深度学习-线性回归（代码自敲自用）
gongpan2468的博客
01-11 427
【代码】跟着李沐学深度学习-线性回归（代码自敲自用）
李沐深度学习踩坑随记
Remo_jun的博客
10-18 387
自用踩坑笔记，毕竟视频比较老，技术更新换代快，会出现兼容等各种问题，并非学习笔记。
【自用】动手学深度学习——跟李沐学AI要点
qq_73462547的博客
09-09 1695
自用，是学习实时笔记，未条条记录，没有进一步加工组织语言，按需查看。
从零实现线性回归（自用）
cat_lovely的博客
09-19 113
因为自己太菜了，很多不太理解，所以写了很多注释和自己的思考方便以后查阅和回顾。代码来源于李沐深度学习中不适用框架实现深度学习的那个视频。
纽约大学深度学习PyTorch课程笔记（自用）Week7
weixin_43589205的博客
08-15 786
纽约大学深度学习PyTorch课程笔记
李沐：用随机梯度下降来优化人生
算法码上来
09-26 283
❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | 李沐CMU 亚马逊首席科学家出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-今天看到李沐发表的一篇文章：《...
anomaly detection学习笔记（自用）
smallbig12的博客
06-29 3339
记录一下学习anomaly detection的学习过程以及每日计划。
李沐：创业一年，人间三年
技术杂谈
09-23 420
AI 时代学什么，怎么学/ 2024.98月14日晚上，李沐在他自己运营的B站和知乎专栏里发布了一篇创业一年的复盘文章：《创业一年，人间三年》，分享了他大模型创业第一年的进展、纠结和反思。看罢高数三剑客（微积分、线性代数、概率论）和AI的关系，我们把眼光移向远方，看一看大神们都走到了哪里。本文来自：李沐给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。在 Amazon 呆到第五年的时候就想...
08线性回归+基础优化算法(手动实现).zip
07-31
一个深度学习代码练习仓库,主要包含了李沐老师的动手学习深度学习课程的相关代码实现。 主要功能点 实现了从零开始的深度学习模型,如线性回归、Softmax 回归、多层感知机等。 实现了经典的卷积神经网络模型,如 ...
深度学习笔记4：线性回归+基础优化方法
qq_49407329的博客
08-17 684
学习李沐老师的深度学习（pytorch），做的笔记4（视频8）~~~
李沐-动手学深度学习-线性回归
qq_60678226的博客
05-24 994
回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 线性模型可以看做是单层神经网络。 线性回归是对n维输入的加权，外加偏差。 使用平方损失来衡量预测值和真实值的差异。 线性回归具有显示解。 基础优化算法：梯度下降 步骤1：挑选一个初始值w0 步骤2：重复迭代参数 沿梯度方向将增加损失函数值 学习率：步长的超参数 学习率：不能太小：效率低；也不能太大：震荡没有下降； 总结： 梯度下降通过不断沿着反梯度方向更新参数求解 小批量随机梯度下降是深度学习默认的
跟李沐学AI-动手学深度学习-线性回归+基础优化算法
哇哈哈哈的博客
09-06 716
回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。 在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到 回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售 销量）等。但不是所有的预测都是回归问题。 线性回归 eg：房价预测：一个简化模型 假设1：影响房价的关键因素是卧室个数、卫生间个数和居住面积，记为x
李沐深度学习-线性回归从零开始
qq_43401942的博客
01-19 464
【代码】李沐深度学习-线性回归从零开始。
【LeetCode 热题100】 45. 跳跃游戏 II 的算法思路及python代码
pljnb的博客
04-03 399
给定一个长度为 n 的 0 索引整数数组nums。初始位置为nums[0]。每个元素nums[i]表示从索引 i 向后跳转的最大长度。换句话说，如果你在nums[i]处，你可以跳转到任意返回到达的最小跳跃次数。生成的测试用例可以到达。
[dp_3 路径问题] 不同路径 | 障碍物 II | 珠宝的最高价值
一个人知道自己为什么而活，他就能够接收任何一种生活
04-03 873
初始化 | 虚拟节点 | 想从dp表找回之前矩阵的位置所以下标都要统一-1才行。i-1，j-1。 依赖前两位,所以要初始两位 if(s[0]=='0') return 0; //这个是这个题目的特殊意思要领悟到 ● 动态规划就是一个从小往大的有逻辑性的计算 ● 以此来避免对相同的事情重复计算很多次 ● 因为填表之后，如果碰到已经计算过的数值就可以直接进行调用啦~
算法 ｜ 神教优化算法(Divine Religions Algorithm, DRA)原理，公式，应用，算法改进研究综述，matlab代码
尘世冰封的专栏
04-03 61
神教优化算法；元启发式算法；宗教行为模拟；群体智能；MATLAB实现。
数据结构|排序算法（一）快速排序
最新发布
duxinran的博客
04-04 267
排序是数据结构中的一个重要概念，它是指将一组数据元素按照特定的顺序进行排列的过程，
【算法/c++】利用中序遍历和后序遍历建二叉树
qq_72680384的博客
04-04 609
树，数组模拟树，c++
李沐深度学习线性回归
01-12
在李沐的《动手学深度学习》教程中，通过仅使用`NDArray`和`autograd`实现了线性回归训练过程[^1]。具体来说，在初始化阶段，定义了权重和偏差作为可训练参数，并设定了初始值。 为了更好地理解这个概念，下面是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值