《动手学深度学习v2》之细致解析 （3）线性回归+基础优化算法

最新推荐文章于 2024-11-10 10:07:03 发布
最新推荐文章于 2024-11-10 10:07:03 发布
阅读量260 收藏
点赞数 1
分类专栏： 动手学深度学习 文章标签： 深度学习 线性回归 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52371907/article/details/128539643
版权

前言 

        作者来自北京某不知名985，现在是本科在读学生，专业是数据科学与大数据技术，班上同学都太卷了，没办法，需要学习深度学习，经大佬介绍，在B站上找到了一个很不错的资源，李沐老师的《动手学深度学习v2》，不仅有全套视频，讲解细致，而且配套资料全部公开免费，不用加公众号也不用私别人的vx，我觉得挺不错，在这里做一个学习记录，也想跟大家一起讨论深度学习相关的问题。新的一年，不要摆烂，一起加油！！！

 这里附上连接：

跟李沐学AI的个人空间-跟李沐学AI个人主页-哔哩哔哩视频

1. 引言 — 动手学深度学习 2.0.0 documentation

相关的视频和书籍的pdf都有介绍，可以免费下载，然后还有jupyter，非常nice，ok下面咱们进入正题，本博客的图片基本来自李沐老师的视频

 本文章包含了《动手学深度学习v2》视频中的 08

视频合集如下：

08 线性回归 + 基础优化算法【动手学深度学习v2】_哔哩哔哩_bilibili

目录

前言 

线性回归

第一个例子：在美国买房

引入线性回归

基础优化方法

梯度下降法 

线性回归

线性回归是我们理解深度学习模型的一个基础

第一个例子：在美国买房

 

 出的价格低于系统估价就赚到了！

那么，影响系统对于房价评估的几个因素有什么呢？这里我们就引入线性回归模型！

引入线性回归

 

 拓展到一般的线性模型

 输出的维度是1就是o_1,之所以叫做单层，是因为带权重的只有一层

这里就介绍了神经网络的由来，最初的神经网络确实是可以追溯到神经元的原理的，从神经末梢接收到输入，然后在细胞核进行处理，之后再在髓鞘之间进行信息的传递，如果信号大于阈值，就能传送到下一个髓鞘，但是目前深度学习的发展及其迅速，许多神经网络已经大大超越了该基础模型的概念

 区别越小，估计的越准确（没有完全猜中真实值所带来的损失），\frac{1}{2}这个系数出现在这里是方便后面求导的时候消去

 

 

 对每个预测值与真实值做差后平方，再进行累加后计算其平均值，得到训练损失，我们需要得到一个使得训练损失函数最小的w和b，来构建一个更准确的模型，这里还要有个\frac{1}{2} 是为了方便我们求导后消去

这里我们可以通过计算梯度，并根据凸函数性值令梯度等于0求得最优解，大家可以动手算一算。

这里我们需要注意的是，像这样能求出最优解的模型太过于简单，无法拟合复杂的问题，后面我们碰到的 模型基本都无法取得最优解，只能通过不断进行训练得到较好的解

这里我们复习一下矩阵运算的性质：包括逆矩阵和转置的运算规则

矩阵转置的运算规则：

(M^T)^T=M\\ (M+N)^T=M^T+N^T\\ (KM)^T=KM^T\\ (M\cdot N)^T=N^T\cdot M^T\\

逆矩阵的运算规则：

(M^{-1})^{-1}=M\\ (M^T)^{-1}=(M^{-1})^T\\ (M\cdot N)^{-1}=N^{-1}\cdot M^{-1}

接下来大家可以动手算一算上面这个简单的最优解求解问题

基础优化方法

梯度下降法 

当模型没有显式解得时候，可以使用梯度下降法进行解决

直观解释

  1. 首先图中的一圈一圈的线即为等高线，可以理解为类似x^2+2y^2=1之类的，首先随机选取一个点我们记为w_0，然后求这一点的梯度，也就在这一点是下降最快的方向，于是我们向着损失函数值更低的一条等高线移动，从而不断降低损失函数的值，从而提高预测的准确度

  2. 用w_0-\eta \frac{\partial l}{\partial w_0}就得到w_1，其中\frac{\partial l}{\partial w_0}代表梯度的方向，\eta 朝着梯度方向移动的距离，

  3. 就像爬山的时候一直沿着当前视线内最陡的地方走

  4. 学习率\eta为超参数，一般需要人为指定

 

  • 如果太小，计算梯度过多，代价昂贵

  • 如果学习率太大，则会一直震荡

 就是用随机采样来替代整体的损失函数，从全部数据中取一个batch来进行近似损失

 

 不需要知道显式解是什么，只需要不断求导即可

今天出去玩了一天，没有学很多东西，惭愧，于是具体的代码从零实现就放到明天更新吧，明天一定会干货满满的！！

预告一下，明天有我们线性回归的从零实现，也有利用torch包的快速实现，其中一些比较存有疑问的地方我会在更新之后再更一期说明！加油！！！

Trafalger D Water Law
关注
专栏目录
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1044
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
【动手学深度学习】01线性回归模型原理讲解和代码实现（pytorch）
是安澜啊
10-20 1596
线性回归原理讲解 定义 回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表示输入和输出之间的关系。 线性回归假设 线性回归基于⼏个简单的假设， 假设⾃变量x和因变量y 之间的关系是线性的，即y可以表⽰为x中元素的加权和，这⾥通常允许包含观测值的⼀些噪声； 我们假设任何噪声都⽐较正常，如噪声遵循正态分布。 线性回归目标 给定训练数据特征X和对应的已知标签y，线性回归的⽬标是找到⼀组权重向量w和偏置b。当给定从X的同分布中取样
动手学深度学习v2 p2 线性神经网络 线性回归 softmax回归
m0_61634551的博客
07-17 708
回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。在机器学习领域中的大多数任务通常都与预测（prediction）有关。当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）。但不是所有的预测都是回归问题。在后面的章节中，我们将介绍分类问题。分类问题的目标是预测数据属于一组类别中的哪一个。
《动手学深度学习v2》之细致解析（4） 线性回归从零实现及相关函数的解析与测试
qq_52371907的博客
01-04 1037
与985深度学习小白一起学习深度学习！！！
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（4）线性神经网络（暂停）
Dontla的博客
08-20 3360
开源项目地址：d2l-ai/d2l-zh 教材官网：https://zh.d2l.ai/ 书介绍：https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本，书及代码下载地址在github网页的最下面 交流者论坛 额外： https://distill.pub/ pytorch中文文档（哪个函数不明白用法查询非常好用） （d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（1）（序言、pytorch的安装、神经网络涉及符号） （d2l-ai/d2l-zh）《动手学深
深度学习之路
bucan804228552的博客
07-28 1419
学习记录 一、python 【7.19】菜鸟教程数据类型 二、cs231n 1.k-最近邻算法 2.线性分类
神经网络与深度学习理论,tensorflow2.0教程,cnn
weeks
04-02 4158
*免责声明: 1\此方法仅提供参考 2\搬了其他博主的操作方法,以贴上路径. 3* 场景一:神经网络与深度学习理论 场景二:tensorflow的安装 场景三:numpy包介绍 场景四:机器学习基础 场景五:线性回归模型 场景六:感知器 场景七:神经网络 场景八:TensorFlow2.0 场景九:tf.Keras相关操作 场景十:卷积神经网络 课程学习地点 . . . 场景一:神经网络与深度学习理论 1.1 相互关系 1.2 发展特点 1.3 应用 1.4 框架介绍 场景二:tensorfl
深度学习系列-图像分割-算法综述
qqywm的博客
03-14 1万+
传统的基于CNN的分割方法缺点？ 传统的基于CNN的分割方法：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入，用于训练与预测，这种方法主要有几个缺点： 1）存储开销大，例如，对每个像素使用15 * 15的图像块，然后不断滑动窗口，将图像块输入到CNN中进行类别判断，因此，需要的存储空间随滑动窗口的次数和大小急剧上升； 2）效率低下，相邻像素块基本上是重复的，针对每个像素块逐个计算...
深度学习基础知识整理
热门推荐
kwame211的博客
07-23 3万+
本文是在七月的BAT机器学习面试1000题系列进行修改。  前言     July我又回来了。     之前本博客整理过数千道微软等公司的面试题，侧重数据结构、算法、海量数据处理，详见：微软面试100题系列，今17年，近期和团队整理BAT机器学习面试1000题系列，侧重机器学习、深度学习。我们将通过这个系列索引绝大部分机器学习和深度学习的笔试面试题、知识点，它将更是一个足够庞大的机器学习和深...
【深度学习原理第7篇】GoogLeNet v1-v4详解 + keras实现
小样yx的博客
11-27 2051
前言 这是入门CV的第三篇，本文是综合论文解读，在自己理解后记录、总结的。尽量做到通俗易懂，希望文章某部分对你有帮助，如有错误，欢迎评论交流。 一、GoogLeNet背景介绍 GoogLeNet是谷歌（Google）研究出来的深度网络结构，这里注意是GoogLeNet，中间是大写L，这是这个团队发现刚好两个字母双关，并以此致敬LeNet网络，故这样取名。谈GooLeNet就不得不说说VGGNet，2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的前两名，GoogLeN
MATLAB算法实战应用案例精讲-【人工智能】语义分割（补充篇）(附matlab代码实现)
qq_36130719的博客
01-01 2078
语义分割是从粗推理到精推理的自然步骤：原点可以定位在分类，分类包括对整个输入进行预测。下一步是本地化/检测，它不仅提供类，还提供关于这些类的空间位置的附加信息。最后，语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其封闭对象矿石区域的类别。更具体地说，语义图像分割的目标是给图像中的每个像素都贴上对应的一类所代表的内容的标签。因为我们要对图像中的每个像素进行预测，所以这个任务通常被称为密集预测。
mlr包在机器学习中的实际应用：从数据清洗到模型评估的全流程解析
![R语言数据包使用详细教程mlr]...`mlr`包不仅提供了统一的接口来处理多种机器学习任务，还支持广泛的机器学习算法，从而使得R语言用户可以轻松地进行模型训练、优化、评估，以及预测等。 本章将介绍`mlr`包的基础知识
他们用深度学习「追星」
谷歌开发者
08-26 370
文 / Kyle A. Pearson 简介18 世纪初，物理学家和天文学家急切地想要检验牛顿刚发现的引力定律以及开普勒的行星运动定律。为了检验这些理论的正确性，天文学家...
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1145
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
一文快速预览经典深度学习模型（一）——CNN、RNN、LSTM、Transformer、ViT
ttrr27的博客
11-05 1068
Hi，大家好，我是半亩花海。本文主要简要并通俗地介绍了几种经典的深度学习模型，如CNN、RNN、LSTM、Transformer、ViT（Vision Transformer）等，便于大家初探深度学习的相关知识，并更好地理解深度学习的基础内容，为后续科研开展建立一定的基础，欢迎大家一起交流学习。
深度学习基础练习：从pytorch API出发复现LSTM与LSTMP
SashiMoore的博客
11-07 650
对pytorch api的lstm与lstmp做了简单的代码复现
AttriPrompter：基于属性语义的自动提示，用于通过视觉-语言预训练模型实现零样本细胞核检测|文献速递-基于深度学习的病灶分割与数据超分辨率
weixin_38594676的博客
11-06 526
此外，我们提出了一个自训练的知识蒸馏框架，GLIP作为教师模型，利用其初始预测作为伪标签，以应对高密度细胞核检测带来的挑战，包括漏检、误检和实例重叠问题。我们的方法在无标注的细胞核检测中表现出色，优于所有现有的无监督方法，并展现出良好的通用性。目前，大规模视觉-语言预训练模型（VLPMs）通过从大量网络来源的文本-图像对中学习对齐的文本和图像特征，获得了语义丰富、多功能且可迁移的视觉特征，从而催生了新的无监督学习方法。带有“*”标记的方法基于医学图像，而带有“**”标记的方法专门基于 H&E 图像。
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
最新发布
deephub
11-10 4236
在深度学习框架的选择上，PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度，深入分析这两个框架在实际应用中的差异，为开发者提供客观的技术参考。
CoD-MIL: 基于诊断链提示的多实例学习用于全切片图像分类|文献速递-基于深度学习的病灶分割与数据超分辨率
weixin_38594676的博客
11-07 551
受 CoT 提示和病理学家临床知识的启发，我们提出了一种用于全切片图像分类的基于诊断链提示的多实例学习（CoD-MIL）框架。在多实例学习（MIL）中，全切片图像（WSI，即包）W = {Wl, Wh} 被通过无重叠滑动窗口方法裁剪为一系列小块（即实例）P = {Pl ∈ R Nl×N0×N0×3, Ph ∈ R Nh×N0×N0×3}。N0 为小块的尺寸。受自然语言处理中的链式思维提示和病理学家诊断先验的启发，我们的链式诊断文本提示将复杂的诊断过程分解为在全视野图像中从低倍到高倍的系列渐进子过程。
动手学深度学习 v2 pdf
07-14
《动手学深度学习 v2》pdf是一本深度学习入门的教程，适合初学者学习深度学习的理论和实践。这本教程由作者李沐、阿斯顿·张剑锋等人合作撰写，涵盖了深度学习的基本概念、神经网络的构建、常见深度学习模型、计算机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值