李宏毅机器学习task03｜误差和梯度下降

最新推荐文章于 2024-06-13 10:22:53 发布
最新推荐文章于 2024-06-13 10:22:53 发布
阅读量188 收藏
点赞数
分类专栏： 【机器学习】 学习记录 文章标签： 机器学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/j125800001/article/details/126575939
版权

误差从哪里来？

  • Error主要有两个来源，分别是 bias 和 variance
  • 估测变量x的偏差和方差
  • 偏差v.s.方差
  • 怎么判断？偏差大-欠拟合，方差大-过拟合
  • 关于future work
  • 模型选择：想选择模型，平衡偏差和方差的产生的错误，使总错误最小
    • 交叉验证 cross validation
    • k折交叉验证 N-fold cross validation

梯度下降

  • review：梯度下降的做法
  • 一些关于梯度下降的要点
    • Tip1：调整学习率
      • Adagrad算法
      • Adagrad算法的矛盾
    • Tip2：随机梯度下降法 Stochastic gradient descent
    • Tip3：特征缩放（归一化 / 标准化） Feature Scaling （Normlization）
  • 数学基础
  • 梯度下降的限制（task05有提到怎么较好的解决这些限制）

 

江某1111号机
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021-07 李宏毅机器学习打卡Task03：误差来源、梯度下降
qq_40258328的博客
07-16 197
Task03 误差来源、梯度下降 学习地址 李宏毅机器学习B站视频地址 李宏毅机器学习开源笔记地址 论坛版块 误差error 误差来源 来源一：bias(一般见于underfitting) 在训练集上loss就很大 —> model bias 来源二：variance(一般见于overfitting) 在训练集上可能表现很好loss很小(比如把输入特征很多，模型参数很多，将模型建得很复杂)，在测试集上效果反而变差 —> overfitting Bias v.s Variance 简
李宏毅《机器学习》Task03 - 误差和梯度下降
0202zc 的博客
08-20 378
对于机器学习的Regression，有两种因素影响其训练结果：bais 和 variance。减小误差可使用交叉验证或N-折交叉验证方法。梯度下降法有三种方法对其进行优化：调整学习率（Adagrad 算法）、随机梯度下降法和特征缩放。
【李宏毅机器学习2021】Task03 误差和梯度下降
QAQterrible的博客
10-15 677
【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022 10月》的学习笔记。本次是对误差和梯度下降的学习总结。本节通过视频学习到对模型调优中面临的系列问题，李宏毅老师列出常见问题树状图，从train的loss开始，到test loss问题，引出训练中的问题并讲解原因，介绍改进方法。
datawhale李宏毅机器学习——task03“误差和梯度下降”
nebula1008的博客
01-15 1659
误差： 模型越复杂，平均误差反而越大。这种error的主要来源是偏差bias和方差variance。 由真实数据训练得到的模型与理想模型之间存在的差距就算是偏差和方差导致的。 不同模型的偏差和方差不同。 偏差大说明欠拟合。 方差大说明过拟合。 因此需要在偏差和方差之间权衡一个模型，使得总误差最小。可以通过交叉验证或者n折交叉验证得到的准确率来选择。 梯度下降法： 这是一种更新参数值的方法。就是每次更新的幅度，由当前数值下的偏导数乘以学习率来决定。 自适应学习率：随着训练次数的增加，学习率也会动态地发生变化。
李宏毅机器学习task02｜回归
j125800001的博客
08-26 107
回归问题 step1：找模型 step2：收集训练数据（损失函数）step3：梯度下降（找最优w，b）
李宏毅机器学习学习打卡Task03-误差与梯度下降篇
qq_42842202的博客
03-18 776
李宏毅机器学习学习打卡Task03-误差与梯度下降篇
李宏毅机器学习打卡Task03：梯度下降
chensen99的博客
03-18 993
b站学习视频地址：李宏毅《机器学习》_哔哩哔哩_bilibili 开源笔记：LeeML-Notes 偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。 方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。 在回归问题的第三步中，需要解决下面的最优化问题： θ∗=argmin​L(θ) 我们要找一组参数 θ，让损失函数越小越好，这个问题就可以用梯度下降法解决： ...
【DadaWhale-李宏毅深度学习】Task03误差和梯度下降
LucyLuo2020的博客
07-15 125
参考链接：https://github.com/datawhalechina/leeml-notes 文章目录一、误差的来源 一、误差的来源 从上图可知, Average\ ErrorAverage Error 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些 ErrorError 的主要有两个来源，分别是 biasbias 和 variancevariance 。 然而 biasbias 和 variancevariance 是什么？可以查看 机器学习中的Bias(偏差
误差和梯度下降（李宏毅深度学习task 3）
Yzy_fulture的博客
07-16 565
误差和梯度下降1. 误差的来源1.1 error (误差)1.2 bias（偏差）1.3 variance （方差）1.4 举例说明1.5 偏差方差困境2 估测2.1 估测X的偏差2.1.1 估测平均值2.1.2 估测方差2.2 为什么会有多个模型3 判断分析3.1 欠拟合-偏差大3.2 过拟合4 比较检验4.1 交叉验证4.2 N折交叉验证5. 梯度下降5.1 学习率的调整（η\etaη）5.1.1 一般学习率的调整5.1.2 自适应调整学习率5.2 随机梯度下降法5.3 特征缩放5.3.1 缩放的原因
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
李宏毅机器学习HW5.zip
04-08
随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的...
【ML】 李宏毅机器学习课件及代码.zip
04-02
机器学习（Machine Learning, ML）是一种应用人工智能（AI）领域的科学技术，它使得计算机系统能够从数据中自动学习和改进，而无需显式编程。在机器学习的过程中，算法会通过识别和挖掘数据中的模式来构建一个模型，...
李宏毅机器学习全套资料
08-31
包含教学ppt，作业答案，讲课详细内容
【机器学习】与【数据挖掘】技术下【C++】驱动的【嵌入式】智能系统优化
小李很执着的博客
06-08 2815
随着物联网（IoT）和智能设备的普及，嵌入式系统变得越来越重要。而随着人工智能（AI）和机器学习（ML）技术的发展，将这些技术应用于嵌入式系统中可以实现许多智能应用，如智能家居、自动驾驶和工业自动化等。然而，由于嵌入式系统的资源有限，将AI和ML应用到嵌入式系统中面临许多挑战。
【Python】 了解二分类：机器学习中的基础任务
2333333
06-09 917
二分类（Binary Classification）是指将数据分为两类的一种分类任务。换句话说，模型的输出只有两个类别。这两个类别通常被表示为 0 和 1，或者 -1 和 1，代表两个不同的类别或状态。二分类是机器学习中一个基础而重要的任务，广泛应用于各种实际场景中。通过理解二分类的概念、常用算法及其应用，你可以更好地构建和优化二分类模型，解决实际问题。希望本文能帮助你深入了解二分类，并在实际项目中有效应用这些知识。
【机器学习基础】Python编程06：五个实用练习题的解析与总结
Obliviate的博客
06-07 1491
这五个编程练习题涵盖了递归、字符串处理、数字操作和回文数判断等基础编程概念。递归作为一种强大的编程技巧，在解决某些问题时可以大大简化代码。然而，递归也需要注意避免栈溢出和重复计算的问题。字符串和数字的处理是编程中常见的任务，通过这些练习，我们学会了如何使用Python的字符串和数字操作函数来解决问题。同时，我们也学习了如何通过逻辑判断来简化问题，例如在乒乓球比赛名单问题中，通过条件判断来减少需要考虑的组合数量。回文数判断问题则展示了如何通过遍历和比较操作来检查一个数的特性。
机器学习实验----支持向量机(SVM)实现二分类
m0_73087960的博客
06-07 1118
两侧距离最近的数据点到超平面的距离最大。超平面被用来划分特征空间，以便实现对数据进行分类或回归。在多分类实验中，是n元空间中，超平面就是一个n-1维的空间。我们实现的是二分类，就得到的是一条直线。给定样本数据集，假设样本特征为X，样本标签为y。其中y 的取值只能有+1和-1。表示样本正类和负类。公式：其中w代表每个特征前的系数，也就是超平面的法向量拉格朗日乘数法的主要是将有等式约束条件优化问题转换为无约束条件,求解带约束条件下的极值。
额定值高于 1 kW 的电机驱动应用使用 GaN 逆变器 IC
最新发布
Jesse0257的博客
06-13 338
2019 年，ePower Stage IC 系列产品重新定义了功率转换，将所有必需的电源片上系统功能集成到单个 GaN-on-Si IC 中，并以更高的电压和更高的频率水平（超出了硅的范围）。在该板上，三相 GaN 逆变器的每个半桥由两个 EPC23101 IC 组成，其 PWM 信号交叉连接，允许插入源分流器来读取电流，如图 3 和部分原理图所示。当这些参数结合起来时，由于 GaN 晶体的临界场高 10 倍，因此与硅 MOSFET 相比，电端子之间的距离可以近 10 倍。GaN逆变器IC的应用。
李宏毅机器学习2023
03-30
5. 强化学习：研究如何让机器智能地进行决策和学习，以达到特定目标。 如果您对李宏毅的机器学习课程感兴趣，我建议您访问相关的教育平台或者搜索李宏毅的机器学习课程，以获取更详细的信息和最新的课程安排。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值