2020李宏毅机器学习与深度学习笔记——Gradient Descemt

最新推荐文章于 2022-04-25 11:03:47 发布
最新推荐文章于 2022-04-25 11:03:47 发布
阅读量297 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40706679/article/details/107667921
版权

REVIEW
在机器学习的第三步，我们的目的是通过解一个最优化问题来找到最好的Function。在第二步中，我们定义了一个LOSS Function，我们把一个Function带到这个LOSS Function中，或者我们把操控一个Function的参数(parameters)带到LOSS Function中，来使得LOSS Function越小越好。怎么做？

如下所示的步骤，我们对每个参数，对LOSS Function求偏微分，上标表示这是第几组参数，下标表示是该组参数里的第几个。参数更新：上一组参数-learning_rate上组参数对L的偏微分*：
在这里插入图片描述
上述步骤可视化如下，横纵坐标为每组参数里包含的两个参数，对于当前的参数点，求其偏微分，然后乘负号(即相反方向),再乘学习速率，用当前参数点减去这个值，即为新的参数点。
在这里插入图片描述

Gradient Descent

  • TIP1：小心地调整Learning_rate。

对于一维或二维的参数，我们可以把Le

最低0.47元/天 解锁文章
gohna
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
2020李宏毅机器学习与深度学习笔记——Classfication_1
qq_40706679的博客
07-31 996
本节课的目标是，寻找合适的Function，对于我们的每一个输入x，我们给出合适的输出类别n，如下： 这种Function有很大的应用，比如在金融领域，我们可以根据一个人的收入、存款、工作、年龄、过去的财务历史等等，来决定是否贷款给他；再比如医疗方面，我们可以根据一个人现在的症状、年龄、性别、过去的就医历史等等，来判断他生了那种病(自动医疗诊断)；再比如做手写文字辨识，类别就是合法字体的个数；再比如做人脸识别，我们输入一张脸，然后在数据库里寻找，找到这张脸的主人。 依旧以pockmon来举例，我们知道po
李宏毅2020机器学习深度学习笔记（一）
TOU_HOU的博客
04-23 1270
回归Regression一、模型函数二、Goodness of Function损失函数Loss function L：三、挑选出最好的函数梯度下降Gradient Descent 宝可梦CP值预测 设宝可梦的名字为xs、CP值为xcp、HP值为xhp、重量为xw、高度为xh。 ƒ(宝可梦的各项数值) = y(进化后的CP值) 一、模型函数 y = b + w * xcp Linear Model...
李宏毅2020机器学习深度学习
既脱春火的博客
01-21 366
P1机器学习 1.机器学习就是自动寻找函数（函式） 2.找到的函数输出是一个数值即可称之为regression （回归） 3.generation 不同于回归于分类 是一个让机器创造的过程 作业中RNN中的Seq2seq可翻译产生语句（文句） CNN中的GAN 产生二次元人物头像 4.Supervised learning 告诉机器每张图片对应的正确分类输出就是做label 即理想输出。而有label的训练 即Supervised learning 有了label后即可计算实际与理想的偏差 即找到的
李宏毅2020机器学习深度学习：Conditional Generation by RNN&Attention
梆子井欢喜坨的博客
03-26 566
目录
李宏毅老师2020机器学习（深度学习）——知识点总结篇（21-30）
阿芒Aris的博客
10-20 1368
李宏毅老师2020机器学习（深度学习）——知识点总结篇（21-30）
李宏毅机器学习学习笔记
最新发布
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
李宏毅学习笔记的PDF版
04-22
github上有相关的开源资源！！！！！ 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。比如老师会经常用宝可梦来结合很多机器学习算法。对于想入门机器学习又想看中文讲解的人来说绝对是非常推荐的。
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅2020机器学习深度学习(完整版)国语李宏毅2020机器学习深度学习(完整版)国语总结
武凯的博客
04-21 289
李宏毅2020机器学习深度学习Gradient Descent Gradient Descent 为什么是更新方程是wt+1 = wt - η▽？ 将输入x当作固定的，本来也是，因为输入的数据集一开始就是固定的，那么将w和b当做变量去优化关于w和b的方程L，要用到偏导，微分，也就是当loss固定的时候（x是固定的所以loss的方程是固定的，而w和b是变量），w和b移动然后慢慢找到loss最时候，则我们就求出了最佳的变量w和b，至于为什么是η， ...
2020李宏毅机器学习与深度学习——Deep Learning
qq_40706679的博客
08-04 319
Deep Learning的三个步骤： 1.define a set of function(神经网络) 2.goodness of function 3.pick the best function STEP1.Function：Neural Network 不同的连接方式就会有不同的网络结构，怎么连接其实是我们手动去设计的。 最常见的连接方式是Fully Connect Feedforward Network： 一个神经网络可以看作一个function，如果我们知道这个程式里面的参数，我们就可
李宏毅2020机器学习深度学习笔记1+2 &&深度学习基础与实践课程笔记2
weixin_55703970的博客
07-20 279
机器学习：研究如何从观测数据 (observations) 中寻找“规律”(skill)，这些规律可以在未知数据上的表现有所改进。 目的：使用“高质量”的训练数据，构建“合适”的模型，以“更佳地”完成任务。 本质：让机器自动帮人类找函数。 历史：早期称为模式识别，当时更偏向于具体的应用任务，比如字符识别、语音识别。 寻找最优函数的过程称为学习或者训练。 应用：分类、聚类、回归、关系预测、目标检测、语义分割、机器翻译、生成…… 分类：判断/创造 方法：1.定义模型 2.定义损失函数 3.转化
李宏毅机器学习2020笔记（三）深度学习
sinat_22510827的博客
01-07 325
一、深度学习 1、简介 不同的连接方法 2、全连接前馈网络 1*1+(-1)*(-2)+1=4--->sigmoid--->0.98 相当于一个函数，输入一个向量，输出一个向量。如果w和b未知，神经网络就是一个比较大的function set。 全连接、前馈。输入层只有data，输出层是最后一层，中间都称为隐藏层。 现在基于神经网络的方法都是深度学习的方法。 常常用矩阵运算来表示神经网络的运算。 一连串的向量乘以矩阵再加上向...
B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
共同进步
04-25 494
总览学习目录篇 链接地址：https://blog.csdn.net/xczjy200888/article/details/124057616 B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
2020李宏毅机器学习与深度学习笔记——Regression
qq_40706679的博客
06-03 389
Case举例： 股票预测系统 f(一些股票资料)=预测明天股票的点数 无人驾驶 f(道路状况)=方向盘角度 推荐系统 f(使用者A 商品B)=使用者A购买商品B的可能性 课程范例：预测宝可梦的CP值(战斗力) f(某一只宝可梦相关的infomation)=进化后的CP值 输入X：某一只宝可梦 Xs：它的种类；Xhp：它的生命值；Xw：它的重量；Xh：它的高度；Xcp：它的CP值 输出Y(一个数值) Step1：Model(找一个function set) eg.Y=b+w*Xcp (w和b是参数，可以是任
深度解析：李宏毅机器学习笔记中的反向传播与优化策略
在【李宏毅机器学习笔记】系列中，第7篇笔记重点关注了反向传播（Backpropagation）这一关键概念，它是神经网络训练过程中提高效率的关键工具。在理解回归问题（Regression）和梯度下降（Gradient Descent）的基础上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值