线性回归和基础优化算法（李沐深度学习课程，自用）

已于 2022-06-06 17:51:55 修改
阅读量121 收藏
点赞数
分类专栏： Pytorch学习笔记 文章标签： 线性回归 算法 回归
于 2022-06-02 15:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43199042/article/details/124783896
版权

线性回归

        平方损失定义：

\zeta (y,\widehat{y})=\frac{1}{2}(y-\widehat{y})^{\2}

        前有一个1/2是因为在求导时可以消去。

        线性回归可以看作是单层的神经网络模型。

基础优化算法

梯度下降

W_{t}=W_{t-1}-\eta \frac{\partial \iota }{\partial W_{t-1}}

（1）学习率

        \eta是学习率，属于超参数，需要人为指定

        太小会导致算法计算量过大且易陷入局部最优（个人理解）

        太大会导致很难收敛（个人理解）

（2）小批量梯度下降

        一般使用的方法为小批量梯度下降，即选取原始数据中的一小部分计算损失函数。小批量的大小b也是一个超参数。（计算所有原始数据梯度的计算量过大）

        小批量梯度下降一般是深度学习默认算法，优点：稳定简便

李沐-线性回归+基础优化算法
qq_36136196的博客
07-06 337
线性回归 线性模型 衡量预估质量 训练数据 参数学习 显式解 基础优化算法 梯度下降 选择学习率：不能太大，也不能太小 小批量随机梯度下降 选择批量大小：不能太大，也不能太小 总结 线性回归的从零开始实现 1.生成人造数据集,真值 features是每一行都包含一个二维数据样本呢,labels是每一啊很难过一个标量 定义一个data_iter 定义初始化模型参数，定义模型 定义损失函数，定义优化算法 此处/batch_size是在损失函数没有做，所以放到梯度这一块来做 训
跟着李沐学深度学习-线性回归（代码自敲自用）
gongpan2468的博客
01-11 399
【代码】跟着李沐学深度学习-线性回归（代码自敲自用）
【自用】动手学深度学习——跟李沐学AI要点
qq_73462547的博客
09-09 1039
自用，是学习实时笔记，未条条记录，没有进一步加工组织语言，按需查看。
李沐深度学习踩坑随记
Remo_jun的博客
10-18 254
自用踩坑笔记，毕竟视频比较老，技术更新换代快，会出现兼容等各种问题，并非学习笔记。
跟李沐学AI-动手学深度学习-线性回归+基础优化算法
哇哈哈哈的博客
09-06 683
回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。 在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到 回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售 销量）等。但不是所有的预测都是回归问题。 线性回归 eg：房价预测：一个简化模型 假设1：影响房价的关键因素是卧室个数、卫生间个数和居住面积，记为x
08线性回归+基础优化算法(手动实现).zip
07-31
一个深度学习代码练习仓库,主要包含了李沐老师的动手学习深度学习课程的相关代码实现。 主要功能点 实现了从零开始的深度学习模型,如线性回归、Softmax 回归、多层感知机等。 实现了经典的卷积神经网络模型,如 ...
李沐-动手学深度学习-线性回归
qq_60678226的博客
05-24 924
回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 线性模型可以看做是单层神经网络。 线性回归是对n维输入的加权，外加偏差。 使用平方损失来衡量预测值和真实值的差异。 线性回归具有显示解。 基础优化算法：梯度下降 步骤1：挑选一个初始值w0 步骤2：重复迭代参数 沿梯度方向将增加损失函数值 学习率：步长的超参数 学习率：不能太小：效率低；也不能太大：震荡没有下降； 总结： 梯度下降通过不断沿着反梯度方向更新参数求解 小批量随机梯度下降是深度学习默认的
李沐动手学深度学习08线性回归+基础优化算法
keepdreams的博客
10-09 318
08线性回归+基础优化算法 线性模型中n维输入就可以用向量表示，n维权重也可以用向量表示，以及一个标量偏差（这其实就是普通的变量，例如y=ax+b中的b）。通过向量表示就可以是y=<w,x>+b（内积+b）。 衡量预测质量：损失函数=1/2(真实值-估计值)^2，前面的常量是为了求导的时候可以凑1。这样的函数成为平方损失 训练损失中，1/2是平方损失中原本就有的，1/n是为了求每个训练样本的平均损失；<xi,w>是求每个样本的估计值，右侧的向量版本可能更容易理解。 最小化损失就是为
李沐《动手学深度学习》课程笔记：08 线性回归 + 基础优化算法
weixin_44850744的博客
02-25 1047
目录 08 线性回归 + 基础优化算法 1.线性回归 2.基础优化算法 3.线性回归的从零开始实现 4.线性回归的简洁实现 08 线性回归 + 基础优化算法 1.线性回归 2.基础优化算法 3.线性回归的从零开始实现 import random import torch from d2l import torch as d2l import os os.environ["KMP_DUPLICATE_LIB_OK"] = .
李沐深度学习-线性回归从零开始
qq_43401942的博客
01-19 442
【代码】李沐深度学习-线性回归从零开始。
线性回归-李沐老师-课堂笔记
04-13
线性回归-李沐老师-课堂笔记
STL set
最新发布
hls0611的博客
11-09 199
练习题：P1059 [NOIP2006 普及组] 明明的随机数。
100种算法【Python版】第51篇——希尔排序
AnFany
11-06 276
100种算法【Python版】第51篇——希尔排序
【LeetCode】【算法】160.相交链表
passer__jw767的博客
11-05 355
Leetcode 160. 相交链表
【算法】（Python）贪心算法
yannan20190313的博客
11-04 2052
【算法】（Python）贪心算法（最大单元数，买卖股票最佳时机，最低加油次数）
洛谷 P2239 [NOIP2014 普及组] 螺旋矩阵
jzwalliser的博客
11-09 772
本文由Jzwalliser原创，发布在CSDN平台上，遵循CC 4.0 BY-SA协议。因此，若需转载/引用本文，请注明作者并附原文链接，且禁止删除/修改本段文字。
二叉树(一)
m0_74340589的博客
11-05 461
/ 写递归算法的关键是要明确函数的「定义」是什么，然后相信这个定义，利用这个定义推导最终结果，绝不要试图跳入递归。// 再说说归并排序的逻辑，若要对nums[lo…// 再看看回溯算法，前文回溯算法详解干脆直接说了，回溯算法就是个 N 叉树的前后序遍历问题，没有例外。// 其实很多动态规划问题就是在遍历一棵树，你如果对树的遍历操作烂熟于心，起码知道怎么把思路转化成代。//快速排序的逻辑是，若要对nums[lo….所有回溯、动归、分治算法，其实都是树的问题，而树的问题就永远逃不开树的递归遍历。
GJ Round (2024.10) Round 8~21
lunjiahao的博客
11-06 849
前言： 点此 返回 GJ Round 目录 Round 8 (10.5) A 给定 nnn 个区间，每个区间 [li,ri][l_i,r_i][li​,ri​]，最大化选取区间对数，使得每对区间 [li,ri],[lj,rj][l_i,r_i],[l_j,r_j][li​,ri​],[lj​,rj​] 满足 [li,ri]∩[lj,rj]=∅[l_i,r_i] \cap [l_j,r_j] =\varnothing[li​,ri​]∩[lj​,rj​]=∅ 先按 lil_ili​ 从小到大排序，再按
【刷题】优选算法
林宇恒的博客
11-06 473
如图，我们先算出最左边(1)和最右边(7)围起来的容量，然后，7不动，1继续和7的左边3，8，4...遍历算出容量，你会发现底是不断缩短的，同时高一直都是1，因为高只有两种情况，比它小或和它相等，所以1和7左边的值算出来的容量都是比1和7的容量小的，因为底在不断变小同时高可能不变也可能变小。根据两个实例和鸽巢原理可以发现不断的平方和最终都会形成环，所以我们可以联想到用快慢指针，慢指针走一步，快指针走两步，最终会在环相遇，判断相遇时是否为1。第一个实例是快乐数，因为会变为1且不断是1的循环。
【LeetCode】【算法】416. 分割等和子集
passer__jw767的博客
11-06 284
LeetCode 416. 分割等和子集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值