机器学习task03误差与梯度下降

最新推荐文章于 2024-08-27 20:28:50 发布
最新推荐文章于 2024-08-27 20:28:50 发布
阅读量110 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42183708/article/details/118825891
版权
本文深入探讨了模型训练中的误差来源，包括偏差（Bias）和方差（Variance）的影响，以及如何通过调整模型复杂度和增加数据来改善。此外，还介绍了梯度下降的重要性，学习率的调整，以及如AdaGrad等自适应学习率算法，以优化模型的收敛速度。同时，特征缩放也被提及，作为加速训练过程的一种手段。
摘要由CSDN通过智能技术生成

误差

在训练集训练模型时，尽可能让Loss最小。但是，当我们把训练好的Model用于Test时，会出现误差。误差与模型的选择、训练集的数据量都有关系。本节内容探讨了：1、误差的两种成分，Bias和Variance；2、实际工程里的一些建议。

误差ppt截图

1，展示偏差和方差区别
在这里插入图片描述
2，Bias比较大的常见情形（Underfitting）——模型过于简单。改进建议：增加模型的复杂度。
在这里插入图片描述
3，Variance比较大的常见情形（Overfitting）——模型过于复杂、数据太少。改进建议：a、增加Data；b、Regularization。
在这里插入图片描述

梯度下降

主要介绍了梯度的理论基础——泰勒展式，确切说并非准确的理论。

梯度ppt

1，Learning Rate很重要，要跟踪Loss function的变化，以确定rate是合适的。
在这里插入图片描述
2，有一些Adaptive的算法，其中最为简单的是Ada算法。
在这里插入图片描述
3，随机梯度下降法。
在这里插入图片描述
4，Feature Scaling。也是为了收敛的更快。
在这里插入图片描述
5，梯度下降理论
在这里插入图片描述

zhkkk333
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
《李宏毅机器学习》- Task2 梯度下降、误差偏差方差的关系、模型评估
weixin_38424903的博客
05-17 606
1、理解偏差和方差 偏差（bias）：表示测试样本集的测试期望值距离groundtruth期望值的偏差； a) bias越大，则说明预测结果越差，模型并未很好拟合训练集样本，欠拟合； b) 我们希望模型在测试样本上的bias足够小，那么就需要增加模型的复杂程度，或者简单理解为增加模型（映射函数）的泰勒展开式最高幂次。 方差（variance）：表示模型在测试集上的预测结果是否稳定，或预测值...
误差与梯度下降
梦码城博客中心
10-15 2199
误差 误差 ＝ 方差 ＋ 偏差2 + 噪音 组成，一般来说，随着模型复杂度的增加，方差会逐渐增大，偏差会逐渐减小 偏差（Bias） 偏差（bias）：偏差衡量了模型的预测值与实际值之间的偏离关系。通常在深度学习中，我们每一次训练迭代出来的新模型，都会拿训练数据进行预测，偏差就反应在预测值与实际值匹配度上，比如通常在keras运行中看到的准确度为96%，则说明是低偏差；反之，如果准确度只有70%，则说明是高偏差。 方差（Variance） 方差（variance）：方差描述的是训练数据在不同迭代阶段的训练模
李宏毅机器学习03、04-误差和梯度下降
weixin_43243315的博客
09-17 477
李宏毅机器学习03、04-误差和梯度下降 误差 误差来源 误差有三个来源： 样本噪音noise； 模型预测值的方差variance； 预测值相对真实值的偏差bias。 误差计算公式： 误差的期望值 = 噪音的方差 + 模型预测值的方差 + 预测值相对真实值的偏差的平方 E((y−f^(x))2)=σ2+Var[f^(x)]+(Bias[f^(x)])2Bias[f^(x)]=E[f^(x)−f(x)] E((y−\hat f(x))^2)=σ^2+Var[\hat f(x)]+(Bias[\hat f(
反向传播和梯度下降的关系
热门推荐
pwh1209的博客
06-26 1万+
1 梯度下降法（Gradient Descent Algorithm） 梯度下降法是一种通用的优化算法，中心思想是沿着目标函数梯度的方向更新参数值以希望达到目标函数最小（或最大）。梯度下降法是深度学习网络最常用的优化算法。除了深度学习，很多其他场合也会用梯度下降法。 我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最
梯度下降法和误差反向传播推导
u011529752的博客
01-06 5939
梯度下降法原理梯度下降法的示意图如下 前提:假设x⃗ 1×m\vec x_{1\times m}和y⃗ 1×n\vec y_{1\times n}的向量有一个函数关系y⃗ =f(x⃗ |θ)\vec y=f(\vec x|\theta),其中θ\theta是一个ll维的参数向量,为例拟合初函数ff. 现有,kk组观测值,得到训练集矩阵Xk×mX_{k\times m}和Yk×nY_{k\time
李宏毅机器学习task03｜误差和梯度下降
j125800001的博客
08-28 229
误差从哪里来、梯度下降
【李宏毅机器学习2021】Task03 误差和梯度下降
QAQterrible的博客
10-15 733
【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022 10月》的学习笔记。本次是对误差和梯度下降的学习总结。本节通过视频学习到对模型调优中面临的系列问题，李宏毅老师列出常见问题树状图，从train的loss开始，到test loss问题，引出训练中的问题并讲解原因，介绍改进方法。
李宏毅机器学习学习打卡Task03-误差与梯度下降篇
qq_42842202的博客
03-18 816
李宏毅机器学习学习打卡Task03-误差与梯度下降篇
Task 03误差和梯度下降
weixin_44336912的博客
08-21 154
文章目录前言一、误差的来源二、不同模型的方差（variancevariancevariance）三、不同模型的偏差（biasbiasbias）四、欠拟合（Underfitting） and 过拟合（Overfitting）五、模型选择六、交叉验证七、梯度下降法的一些小技巧总结 前言 本文主要介绍了误差的来源，不同情况下误差的来源不同，过拟合、欠拟合的原因、解决方法，交叉验证和梯度下降法中的一些小技巧。 一、误差的来源 误差主要来源于 biasbiasbias 和 variancevariancevar
动手学深度学习Pytorch版本学习笔记 Task 03
01-06
另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素...
《动手学深度学习PyTorch版》打卡_Task3，过拟合，欠拟合，梯度消失，梯度爆炸
01-20
最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程，对过拟合，欠拟合，梯度消失，梯度爆炸做下笔记。 过拟合和欠拟合 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）...
【DL学习笔记】打卡02：Task03-05
01-07
Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 过拟合、欠...
Task03:误差及梯度
m0_57050414的博客
08-18 548
一、误差的来源： error=偏差 bias+ 方差 variance 二、不同模型的偏差和方差 方差：取决于model的复杂度和 data的数量 较简单的model：比较集中，离散程度比较小，方差小 较复杂的model：比较分散，离散程度大，方差大 结论：简单的model 受到不同的training set的影响是较小的 偏差：取决于model的复杂度 简单的model：简单model...
机器学习之标量和向量的定义
程序新视界
08-27 134
在编程中，标量通常对应于基本数据类型（如整数、浮点数）、向量则可以通过数组、列表或特定的向量类型来实现，特别是在进行科学计算、数据分析或机器学习等领域时，向量的概念非常重要。在二维或三维空间中，向量可以用箭头来表示，箭头的长度代表了向量的大小（有时也称为向量的“模”），箭头的方向则表明了向量的方向。数学上，向量通常表示为有序的数值对或数值组，如二维向量（x, y）或三维向量（x, y, z）。比如，在处理图像数据、物理模拟、机器学习等领域中，对这些基本概念的理解将直接影响到程序的效率和效果。
《陈天奇：机器学习科研的十年》阅读笔记
最新发布
bunny___的博客
08-27 424
陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。2019年，陈天奇在Twitter上宣布自己将于2020年秋季加入CMU任助理教授，成为加入CMU的年轻华人学者之一。 在本文中，陈天奇回顾了自己做机器学习科研的十年。 然后，我也写了一些自己的科研心得。
机器学习概述与应用：深度学习、人工智能与经典学习方法
loveting99的博客
08-27 855
机器学习是一门让计算机能够在没有明确编程的情况下“学习”的科学。它利用统计学、数据分析和优化方法，从数据中提取模式或规律，并根据这些模式做出预测或决策。机器学习的核心步骤包括数据收集、数据预处理、模型选择、模型训练、模型评估与优化。
【机器学习-监督学习】支持向量机
Morse_Chen的博客
08-24 721
本文介绍了支持向量机的原理及其求解算法SMO。由于SVM属于非参数化模型，其模型中的参数与数据集的规模相同，求解较为复杂，但SMO算法大大降低了求解的难度。对于非线性分布的数据，通过引入非线性的核函数使SVM完成分类任务，达到和神经网络中激活函数类似的效果。
机器学习 公式推导与代码实现
08-14
机器学习中，公式推导和代码实现是非常重要的部分。公式推导可以帮助我们理解算法的原理，而代码实现则是将算法应用到实际问题中的具体步骤。 在公式推导方面，我们可以使用神经网络作为例子。神经网络是一种用于解决分类和回归等问题的机器学习模型。它可以通过前向传播和反向传播来进行训练和预测。 在前向传播中，神经网络根据输入数据和权重参数计算出预测结果。具体来说，我们可以使用一系列的线性变换和激活函数来计算每个隐藏层和输出层的值。通过不断传递数据和权重，我们可以得到最终的预测结果。 在反向传播中，神经网络根据预测结果和真实标签之间的误差来更新权重参数。这个过程可以使用梯度下降法来实现。我们首先计算出损失函数对于每个权重的偏导数，然后根据偏导数的方向来更新权重。 具体的推导过程可以参考引用中的文章。文章中详细介绍了神经网络的公式推导和参数更新的推导过程。 在代码实现方面，我们可以使用Python来手动实现神经网络。可以使用NumPy等库来进行矩阵运算和激活函数的计算。具体的代码实现可以参考引用中给出的示例代码。 综上所述，机器学习的公式推导和代码实现是我们理解和应用算法的重要步骤。通过推导公式和实现代码，我们可以更深入地理解算法的原理，并将其应用到实际问题中。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [机器学习之神经网络的公式推导与python代码（手写+pytorch）实现](https://blog.csdn.net/qq_52785473/article/details/127454390)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值