机器学习笔记_李宏毅_P5-P7_Gradient Descent

最新推荐文章于 2024-05-03 23:28:52 发布
最新推荐文章于 2024-05-03 23:28:52 发布
阅读量180 收藏
点赞数
分类专栏： 李宏毅-深度学习-笔记 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CZYruobing/article/details/114370486
版权

李宏毅老师的机器学习笔记


课程视频

Gradient Descent

最小化损失函数时采用的Gradient Descent方法

在这里插入图片描述

Gradient Descent方法计算过程

在这里插入图片描述

Gradient Descent的三个tips

方法一：Tuning your learning rates

每隔几个epoch就降低一些learning rate
一开始，我们离目标很远，所以我们使用了较大的learning rate
经过几个epochs，我们接近了目标，所以我们降低了learning rate
在这里插入图片描述
给不同的参数设置不同的learning rate

Adagrad

为不同参数划分不同的learning rate

在这里插入图片描述

计算过程

在这里插入图片描述

化简结果

在这里插入图片描述

是否觉得矛盾？

在这里插入图片描述

在只有一个参数时，微分值可以代表距离最低点的距离

在这里插入图片描述

在多个参数时，微分值不可以代表距离最低点的距离

在这里插入图片描述

the best step is

在这里插入图片描述

方法二：Stochastic Gradient Descent

Stochastic Gradient Descent

在这里插入图片描述

在Gradient Descent 中，我们计算所有examples后再更新参数

在这里插入图片描述

在Stochastic Gradient Descent 中，每计算一个example则更新一次参数

在这里插入图片描述

方法二：Feature Scaling

让不同的特征具有相同的缩放程度

在这里插入图片描述

特征值 x 1 x_1 x1​和 x 2 x_2 x2​差别很大，如果采用相同的 w 1 w_1 w1​和 w 2 w_2 w2​，要走很多步才能到达最低点

在这里插入图片描述

将特征值缩放后，则无论从哪里开始，都能比较快的走到最低点

在这里插入图片描述

举个例子：此时不同的特征值就缩放成‘同等程度’

在这里插入图片描述

源代码

CZYruobing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
Python实现李宏毅2020机器学习作业3，含数据集和代码
HW_1_李宏毅机器学习作业_thatnn8_李宏毅_
10-01
Python实现李宏毅2020机器学习作业，含数据集和代码
李宏毅机器学习--Datawhale202210.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
台大_李宏毅PPT_机器学习
10-28
本资源是机器学习 台大教授 李机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。宏毅的授课配PPT讲稿。
李宏毅2020机器学习_课堂作业.zip
04-12
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
机器学习之基于Jupyter中国环境治理投资数据分析及可视化
Q1744828575的博客
05-03 357
机器学习之基于Jupyter中国环境治理投资数据分析及可视化项目是一个结合了机器学习和数据可视化技术的项目，旨在通过分析和可视化中国环境治理投资数据，为相关决策和政策制定提供有力支持。一、项目背景随着全球气候变化和环境问题日益严重，环境治理已经成为各国政府和社会各界关注的焦点。中国作为世界上最大的发展中国家，环境治理投资规模巨大，且数据丰富。然而，如何有效地利用这些数据，挖掘其中的有价值信息，是当前面临的一个重要问题。二、项目目标。
使用 scikit-learn 进行机器学习的基本原理-2
qq_44204759的博客
04-30 737
监督学习：分类和回归 在监督学习中，我们有一个由特征和标签组成的数据集。 任务是构建一个估计器，能够在给定特征集的情况下预测对象的标签。 一个相对简单的例子是根据一组鸢尾花的测量值来预测鸢尾花的种类。 这是一个相对简单的任务。
机器学习批量服务模式优化指南
安静的软件工程师
05-03 519
机器学习批量服务模式优化指南
Python 机器学习 基础 之 学习 基础环境搭建
仙魁XAN
04-30 1122
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
机器学习之基于Python多种混合模型的糖尿病预测
Q1744828575的博客
05-03 486
一、项目背景糖尿病是一种慢性代谢性疾病，其发病率在全球范围内逐年上升，已成为影响人类健康的重要疾病之一。糖尿病的早期预测和干预对于降低其发病率、提高患者生活质量具有重要意义。随着机器学习和大数据技术的发展，基于数据驱动的糖尿病预测方法逐渐受到广泛关注。本项目旨在利用Python编程语言，结合多种混合机器学习模型，构建一套高效、准确的糖尿病预测系统。二、项目目标收集并整理糖尿病相关数据集，包括患者的生理特征、病史、生活方式等信息。
机器学习决策树模型
weixin_40566713的博客
04-28 135
决策树模型从单一到集成、二叉树
机器学习理论基础—集成学习（1）
xiaoxu的博客
04-27 644
集成学习通过构建并结合多个学习器来完成学习任务，有时也称为多分类系统等。分类： 根据集成学习中的个体学习器的不同可以分为同质集成（集成的学习器相同例如全部是决策树），和异质集成（集成的学习器包括多种，例如决策树神经网络SVM等）。首先集成学习的结果通过投票法产生，即少数服从多数的原则 总结： 集成学习器应该满足的两个基本条件是好而不同的。 参数说明：解读：k个学习器成功预测样本x的概率两个基本结论：引入推导过程Hoeffing不等式（霍夫丁不等式） 根据个体学习器的生成方式的不同分为两大类需要解决的问题：①
机器学习之sklearn基础教程
beautifulmemory的博客
05-03 424
在本教程中，我们介绍了Sklearn的基础知识，包括安装、数据预处理、选择模型、训练模型、评估模型和模型持久化。这只是一个简单的入门教程，Sklearn还有许多其他功能等待您去探索。要深入学习Sklearn，您可以阅读官方文档，参加在线课程或阅读相关书籍。
G1 - 生成对抗网络（GAN）
最新发布
Loser
05-03 418
GAN是一个非常有趣的网络，它使用了一个非常简直的二分类器来做判别器，然后使用一个输入与输出相同的模型来做生成器。生成器会学习到给定的数据中的分布情况，从而模拟出与给定数据同样的分布，作为生成器的输出。经过50个轮次的运行，图像竟然真的可以开始输出一些和原始图像非常相似的结果，让我感觉非常的不可思议。从计算机其它领域获得一些概念，然后融入到人工智能中，有时候会有非常不错的结果。
生成对抗网络（GAN）入门
qq_60245590的博客
05-03 754
判别器的任务是尝试区分接收到的数据是真实数据还是由生成网络生成的数据。生成器的任务是从随机噪声中生成与真实数据相似的合成样本，而判别器则负责辨别给定的样本是真实数据还是生成器产生的人工样本。在生成对抗网络（GANs）中，生成器（G）是一个关键组件，其任务是利用随机噪声（通常表示为z）作为输入，并通过不断的学习和拟合过程生成一个与真实样本在尺寸和分布上相似的伪造样本G(z)。GAN的原理在于通过这种对抗性训练，生成器学习生成逼真的数据，而判别器学习更好地区分真实和生成的数据。
机器学习的两种典型任务
荣山的博客
05-01 393
回归任务是对连续值进行预测，根据每个样本的值/特征预测该样本的具体数值，例如房 价预测，股票预测等，相当于学习到了这一组数据背后的分布，能够根据数据的输入预 测该数据的取值。有监督学习：监督学习利用大量的标注数据来训练模型，对模型的预测值和数据的真实 标签计算损失，然后将误差进行反向传播（计算梯度、更新参数），通过不断的学习， 最终可以获得识别新样本的能力。一般假设无标签数据远多于有 标签数据。无监督学习：无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间 的关系，比如聚类相关的任务。
机器学习之基于Jupyter多种混合模型的糖尿病预测
Q1744828575的博客
05-03 400
一、项目背景随着现代生活方式的改变，糖尿病的患病率在全球范围内呈现上升趋势。糖尿病是一种慢性代谢性疾病，其长期存在的高血糖状态会导致各种组织，特别是眼、肾、心脏、血管、神经的慢性损害、功能障碍。因此，早期发现糖尿病并采取相应的干预措施，对于降低糖尿病的患病率和减轻其对患者的危害具有重要意义。本项目旨在利用机器学习技术，特别是多种混合模型，基于Jupyter平台进行糖尿病预测。通过收集和分析患者的生理特征、历史病史等数据，建立预测模型，实现对糖尿病的早期预测和筛查。二、项目目标。
输入序列太长 gan CGAN
m0_68339197的博客
04-30 220
第一阶段：固定「判别器D」，训练「生成器G」。使用一个性能不错的判别器，G不断生成“假数据”，然后给这个D去判断。但随着训练不断进行，G技能不断提升，最终骗过了D。这个时候，D基本属于“瞎猜”的状态，判断是否为假数据的概率为50%。第二阶段：固定「生成器G」，训练「判别器D」。这时候我们固定G，然后开始训练D。通过不断训练，D提高了自己的鉴别能力，最终他可以准确判断出假数据。通过不断的循环，「生成器G」和「判别器D」的能力都越来越强。最终我们得到了一个效果非常好的「生成器G」，就可以用它来生成数据。
数学符号的标准写法 (机器学习方向)
minfanphd的博客
05-03 588
摘要: 本贴讨论数学符号的标准写法, 列出 Latex 中使用的命令.
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值