台大李宏毅老师——深度学习 课程笔记 二 （Gradient Descent)

最新推荐文章于 2024-06-03 18:37:12 发布
最新推荐文章于 2024-06-03 18:37:12 发布
阅读量2.6k 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43716712/article/details/123040573
版权

文章目录

Gradient Descent

在这里插入图片描述
在这里插入图片描述

Learning Rate

在这里插入图片描述
我们可以在实际过程，画出右边的图，就是每当参数进行了更新后，loss的变化情况，然后来选择合适的learning rate。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Stochastic Gradient Descent

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Feature Scaling

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Gradient Descent Theory

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
泰勒展开这里可以复习5328
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
就像帝国时代的游戏，我们只能找到局部最小值。永远无法知道全局最小。除非是凸函数，局部最小是全局最小。
在这里插入图片描述

大叔爱学习.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习】李宏毅深度学习2022
可乐大牛的博客
04-10 5034
文章目录1、机器学习基本概念介绍 1、机器学习基本概念介绍 机器学习的任务：回归、分类、结构化学习 过程：设计一个带未知有参数的函数(运用领域知识)、设计损失函数、参数优化
台大李宏毅深度学习视频全（1-3）
07-29
台大李宏毅讲授的一天搞懂深度学习公开课的全部视频资料，还有之前上传的全部课件。由于上传量的限制，分开上传，请注意顺序。
台大李宏毅老师——深度学习 课程笔记 八 （CNN)
爱学习的大叔的博客
03-02 633
文章目录IntroductionWhy CNNThe Whole CNNConvolutionConvolution v.s. Fully ConnetedMax PoolingFlattenCNN in KerasWhat does CNN learn？ Introduction 图像识别在Deep Learing的input就是将图片转成pixel的维度个数，output就是要分类的种类的个数。 这个在Modularization那一章讲过，前面的layer是basic的，越往后就是模型的拼接。但是
台湾-李宏毅教授的深度学习视频教程
猪逻辑公园
07-14 2061
李宏毅老师简介：主要研究领域为机器学习（特别是深度学习）、口语语义理解和语音识别。 2012年从台北 National Taiwan University (NTU) 博士毕业。2012年9月—2013年8月，在 Sinica Academia 的 Research Center for Information Technology Innovation 做博士后。2013年9月—2014年7月...
【深度学习入门—2015MLDS】台湾大学李宏毅MLDS(2015)学习笔记
Lecholin的博客
08-19 4740
台湾大学李宏毅老师主讲的Machine Learning and having it deep and structured(2015)
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅——深度学习ppt
06-23
共计300多页ppt，是最深入浅出的深度学习入门资料。你值得拥有！
台湾大学李宏毅《机器学习》 课程学习笔记.pdf
11-06
主要由监督学习、半监督学习、迁移学习、无监督学习、监督学习中的结构化学习以及强化学习构成。最关键的是本文档带书签。
李宏毅深度学习课程中的笔记
08-08
适用于初学deeplearning的初学者，方便笔记
台大李宏毅深度学习视频全（9）
07-29
台大李宏毅讲授的一天搞懂深度学习公开课的全部视频资料，还有之前上传的全部课件。由于上传量的限制，分开上传，请注意顺序。
台大李宏毅老师——深度学习 课程笔记 四 （Classification)
爱学习的大叔的博客
02-24 703
文章目录
台湾大学李宏毅深度学习1
潜艇
09-19 752
深度学习的三个步骤 Neural Network(神经网络)：我们经常设计神经网络，并且让机器从数据中寻找参数。 Cost function(成本函数)：用来判断一组参数是好还是不好 Optimization(最优化)：找到最好的函数 Fully connected layer(全连接层)： 第i-1和第i层之间两两相连。第l-1层的第1个神经与第l层的第2个神经相连，得到的是w21...
李宏毅svm_李宏毅-深度学习
weixin_33673142的博客
01-03 1129
作者简介:李宏毅是台湾大学教授，主要研究领域为机器学习(特别是深度学习)、口语语义理解和语音识别。2017年，其录制的深度学习课程深受大家的追捧。李宏毅的课程，内容丰富，理论公式推导详细。尤其配套的ppt，生动形象，毫不夸张的说，它是我见过的深度学习最系统的课程了。课程内容:前期主讲：深度学习的基本框架、模型，包括DNN、RNN/LSTM等，期间还穿插theano的模型实现(当然现在比较流行的是T...
李宏毅深度学习笔记03（Gradient Descent梯度下降法）
m0_56404848的博客
07-15 129
Tuning your learning rates 1.learning rate，设置太小，时间过长；设置太大，无法找到最低点，永远在上面震荡。 2.Adaptive Learning Rates （1）Adagrad 每一个参数的learning rate都把它除以之前算出来的微分值的root mean square(均方根). （2）Stochastic Gradient Descent 原来的gradient descent，看完一遍example之后，就更新一遍参数。你会发现他是比较稳定
国立台湾大学-李宏毅-2017年（秋）最新深度学习与机器学习应用及其深入和结构化研究课程分享
lqfarmer的博客
10-30 5166
课程持续更新中，文末附分享目前已经release出来的视频和ppt下载链接。 课程描述： 讲解深度学习的基本理论，介绍深度学习各种实际应用。 期望和目标： 希望学习本门课程的学生学会： （1）、深度学习工作原理。 （2）、深度学习常用架构工作原理。 （3）、深度学习工具包的使用，如何设计搭建模型。 （4）、如何使用深度学习技术
基于RNN和Transformer的词级语言建模 代码分析 数据集的处理 Dictionary 和 Corpus
flyfish
05-30 742
flyfish
深度学习之动量momentum介绍
最新发布
yueguang8的博客
06-03 274
动量是深度学习中非常重要的优化技术,它能有效提高训练的稳定性和收敛速度。掌握动量的原理和使用方法对于训练高性能的深度学习模型非常关键。
深度学习和计算机视觉中的backbone
weixin_45596561的博客
06-01 395
在深度学习和计算机视觉中，“backbone” 是指深度神经网络的主要部分，通常用于特征提取。骨干网络通过卷积操作提取图像中的低级和高级特征，为后续的特定任务（如分类、检测、分割等）提供丰富的信息。这些骨干网络一般是预训练的，即在大型数据集（如ImageNet）上进行训练，以便在各种下游任务中实现良好的性能。
李宏毅深度学习笔记 pdf
09-06
### 回答1： 李宏毅教授所著的《深度学习笔记》pdf是目前深度学习领域中非常受欢迎的资源之一。...无论是想要学习深度学习的初学者，还是对深度学习有更进一步了解的专业人士，都应该阅读这本教材。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值