【课程笔记】李宏毅机器学习[3]：Gradient Descent

最新推荐文章于 2024-07-21 19:18:55 发布
最新推荐文章于 2024-07-21 19:18:55 发布
阅读量153 收藏
点赞数
分类专栏： 李宏毅机器学习课程笔记 文章标签： 机器学习 李宏毅 课程笔记 MachineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013235582/article/details/104166063
版权

本系列课程笔记为李宏毅2017,秋，台湾大学课程。
视频网址链接：https://www.bilibili.com/video/av15889450?p=6
更新日期：20200204

Gradient Descent实现

Learning Rate

固定Learning Rate

在这里插入图片描述

Adaptive Learning rates

Adagrad

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
方程式的简化，使得 s q r t ( t + 1 ) sqrt(t+1) sqrt(t+1)相消了
在这里插入图片描述

Stochastic Gradient Descent/随机

Feature Scaling

在这里插入图片描述
使得不同的自变量对因变量的影响趋于一致。

Gradient Descent Theory

基于泰勒展开式
在这里插入图片描述
其（Loss）减小方向是确定的

Limitation

在这里插入图片描述

tjwyj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
第二周 2020李宏毅《机器学习》--梯度下降&分类 学习笔记
up up up!
11-20 213
欢迎来到爱学习小可爱的机器学习入门小天地 第一节课 基本概念 Error 来源： variance(方差) bias(偏差) 根据不同来源去对症提高模型的效果 bias and variance of Estimator 估计方差是有差估计 估计均值是 ...
李宏毅机器学习笔记（4）： Gradient descent
wasser000的博客
05-27 354
这次主要是聊梯度下降的细节与技巧，上次讲过了梯度下降的步骤。 1 回顾 还记着之前提到过的吗，梯度下降可以在复杂庞大的数据中寻找局部最优解，对loss function处理中有比较好的应用。我们需要对参数进行处理，可以使用梯度下降法。 再重温梯度下降过程吧（具体可以看第二篇回归）： 实际的要求是寻找一组参数，需要损失函数达到最小值： θ=argminL(θ) ...
李宏毅机器学习笔记2：Gradient Descent(附带详细的原理推导过程）
weixin_30629977的博客
03-13 118
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！） 今天这篇文章的主要内容是第3课的笔记 ML Lecture 3: Gradient Descent 1...
李宏毅机器学习笔记2：Gradient Descent
chairon的博客
10-08 105
梯度下降 求θ1, θ2使损失函数最小。 梯度下降方向：沿着等高线的法线方向。 梯度下降要点 1. 调整你的学习率 使损失函数越来越小 Adaptive Learning Rates 2.Adaptive Learning Rates 2.1 Adagrad 等价于 因为： （所有导数的平方的均值，再开根号） 造成反差的效果 2.2 Stochastic Gradient Descent 一次只使用一个样本进行梯度下降 更快 3 Feature Scaling 让不同的
@[TOC](机器学习 李宏毅 笔记)
01-07
机器学习分类 Scenario 训练场景 由拿到的数据决定 task 任务类型 由想得到的输出决定 method 所选择的function set 只是specialize了Classifacaiton 的具体分类，但是每个senerio 都包含这些task, 每个task 都包含...
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
07-18 1205
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
机器学习周报第四周（7.15-7.21）
最新发布
weixin_51923997的博客
07-21 1079
本周学习了 batch，以及当 batch size过大或过小时的对比分析。对Momentum与梯度下降相结合进行优化模型的方法进行分析。在进行梯度下降过程中，学习率是一个重要的参数，学习率的大小决定着模型训练的平滑程度和稳定性。本文介绍了如何自动调整学习率，学习率会随着梯度的改变而改变。从而在各个情况下采用合适的学习率。同时也介绍了Adagard算法和Prop算法，Learning Rate Decay和Warm up是机器学习中的优化技术，这两种方式可以改变学习率中的η\etaη，将η\etaη。
【机器学习】马尔可夫模型与隐马尔科夫模型
m0_53700832的博客
07-15 1416
马尔可夫模型（Markov Model）是一种用于描述系统状态随时间变化的数学模型。通俗地说，它是一种预测未来状态的工具，假设未来状态只依赖于当前状态，而不依赖于过去的状态。这种假设被称为“马尔可夫性”或“无后效性”。马尔可夫模型是一种非常有用的工具，用于描述和预测系统状态随时间变化的情况。关键是只考虑当前状态，而不考虑历史状态。这使得模型简单且易于计算，适用于许多实际问题，如天气预测、股票市场分析、语言处理等。初始状态分布π\piπ：描述系统初始时刻各状态的概率。状态转移概率矩阵AAA。
支持向量机（SVM）
qq_44133607的博客
07-18 631
支持向量机（Support Vector Machine, SVM）是一种用于分类和回归分析的监督学习模型。其主要目的是找到一个能够分离不同类别的超平面。
机器学习中的数据分析
MAMA6681的博客
07-19 714
明确你希望通过数据分析解决的问题。这可能涉及到商业目标、研究假设或具体的信息需求。
人工智能导论-机器学习
m0_73366745的博客
07-18 1017
本章主要介绍的机器学习的概念、发展历程、发展趋势、相关应用，着重拓展机监督学习和无监督学习的相关知识。重点：机器学习的定义和应用；难点：机器学习算法及分类。定义：机器学习（Machine Learning）本质上就是让计算机在数据中学习规律，并根据所得到的规律对未来数据进行预测。基本思路：让机器模仿人类学习行为的过程。如人类解决新问题一般是通过“经验归纳，总结规律，从而预测未来”的过程。NFL定理（No Free Lunch）一个算法A若在某些问题上比算法B好，必定存在一些特殊问题使得算法B比A 好。
ASP外观专利图像检索平台(源代码+论文).rar
07-21
ASP外观专利图像检索平台(源代码+论文)
C++课程设计：电煤气管理系统【源码+文档】
07-21
C++课程设计：电煤气管理系统【源码+文档】 本程序是一个水电气管理信息系统，能够对高校的水电气费用进行管理, 包括了成员的基本信息，如学号、编号、姓名、成员水电气的用量等。程序的用途包括缴纳水电气费、查询一个同学水电气费用量、查看所有同学的缴费情况、增加学生信息、删除学生信息、退出系统等。在设计时也考虑到学生和教师在用水电气时的不同，学生可以免费使用一定额度的水电气，超过这个额度的以后必须付费，且付费部分水电气费的价格要高于教工的收费标准，该措施的实行是为了鼓励同学们节约资源，以免造成不必要的资源浪费。该软件主要是为了学校的管理人员提供便捷，以更快的完成水电气费用的收缴。该软件本着简洁明了，实用稳定为一体进行设计。 系统将实现以下功能： （1）实现对用户信息的录入； （2）实现水电煤气数据的录入； （3）实现计算并查询用户应缴费用，查询未缴纳费用的名单； （4）实现对人员的删除和添加；
ASP+ACCESS网上动态同学录系统（源代码+论文+系统说明+答辩PPT）.rar
07-21
ASP+ACCESS网上动态同学录系统（源代码+论文+系统说明+答辩PPT）
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值