[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）

最新推荐文章于 2024-08-10 11:44:37 发布
最新推荐文章于 2024-08-10 11:44:37 发布
阅读量6.8k 收藏 10
点赞数 5
分类专栏： 机器学习 机器学习入门 文章标签： 机器学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soulmeetliang/article/details/72891351
版权
这篇博客介绍了深度学习中的一些实用技巧，包括为何更深的网络不一定更好，如vanishing gradient问题，以及解决策略如ReLU和Maxout激活函数。此外，还讨论了适应性学习率的RMSProp、优化参数的Momentum和Adam算法。在测试数据上表现不佳时，提出了早停策略、正则化和Dropout等方法。
摘要由CSDN通过智能技术生成

[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）

PDF VIDEO

Recipe of Deep Learning

这里写图片描述
这里写图片描述

在 training data上的performance不好

这里写图片描述

Deeper usually does not imply better

这里写图片描述

Vanishing Gradient Problem

这里写图片描述
这里写图片描述
这里写图片描述

最低0.47元/天 解锁文章
holeung
关注
专栏目录
李宏毅《深度学习》笔记（一）
weixin_44469952的博客
07-12 749
李宏毅《深度学习》笔记（一） 一、机器学习介绍 1.人工智能、机器学习、深度学习的概念区分 人工智能（Artificial Intelligence）：这是一个很广泛的概念，这个词在1950年就有了。这个词意味着一个人类长远以来的目标，希望机器可以跟人一样的聪明，因此人工智能是我们想要达成的目标。 机器学习（Machine Leaning）：而对于如何实现人工智能？人们希望让机器能够像人一样去学习。因此机器学习是想要达成目标的手段，希望机器通过学习方式，让机器跟人一样聪明。 深度学习（Deep Lear
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅-ML Tips for Deep Learning(深度学习的技巧)
qq_36356587的博客
03-30 253
Tips for Deep Learning 当测试集上的效果不好时需要查看训练集上的错误率，有时候可能时因为训练集上就没有训练起来； 使用dropout相当于集成 不同的激活函数对训练结果的影响很大，通过数学推导的角度分析，例如sigmoid激活函数会导致前面层的参数到后面逐渐被削弱； 层数越多并不一定效果越好 梯度消失现象 有些神经元经过relu激活函数后会导致结果为0，所以使...
李宏毅 机器学习
最新发布
qq_61833632的博客
08-10 2035
李宏毅机器学习，学习笔记记录——P1机器学习基本概念（上）
李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
热门推荐
徐子尧的博客
03-29 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第4-6课所做的笔记和自己的理解。Lecture 4: Classification: Probabilistic Generative Model以根据宝可梦各属性值预测其类型为例说明分类问题。 训练数据是若干宝可梦的各属性值及
李宏毅深度学习笔记
weixin_39965184的博客
03-13 368
Macine Learning是什么 https://www.youtube.com/watch?v=fegAeph9UaA&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=3 scenario:学习的方法 task:要解决的问题 method:同一个问题可以用不同的方法解决。 reinforcement learning 从评价中学习...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 433
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
李宏毅学习笔记的PDF版
04-22
github上有相关的开源资源！！！！！ 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。比如老师会经常用宝可梦来结合很多机器学习算法。对于想入门机器学习又想看中文讲解的人来说绝对是非常推荐的。
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
李宏毅深度学习课程笔记（一）
weixin_43856715的博客
04-22 746
一、深度学习三个步骤 1、neural network 2、损失函数 3、优化器 二、各概念关系 机器学习分类：监督学习、半监督学习、无监督学习、强化学习、迁移学习等。 其中，监督学习包括回归和分类，分类又分为线性模型和非线性模型。非线性模型包括深度学习和其他（SVM、决策树、KNN等）。 三、损失函数与梯度更新 损失函数计算预测值与真实值的距离。 梯度更新则寻找使损失函数最小的w值。 如图所示...
Lecture 3：Types of Learning
weixin_43860935的博客
09-25 250
Lecture 3：Types of Learning 一切截图均来源于课程讲义 【概括】 分别从输出、数据标记（有无）、数据输入方式、输入features类型对机器学习方式进行分类 3.1 Learing with different output space 二分类问题 --> 多分类问题 regression 回归分析问题（用于预测）特点：输出为一个实数 3.2 Learing with different labels Supervised Learning 监督式学习 Unsup
李宏毅深度学习课程笔记总结
weixin_43149509的博客
08-19 315
classification：分类问题 regression：回归问题 两大领域之外，还有 Structured Learning：机器产生有结构的东西的问题（机器学会创造） domain knowledge model：就是一个带有未知parameter 的 function loss：多个训练出来的值，对比出来的平均误差 label：真实的数值 error surface 第三步，optimization 最佳化的问题 使用的方法：gradient descent learning rate ：自己设置
李宏毅学习笔记6.深度学习概述
老毛的博客
04-09 1703
背景介绍 DL很火，老师大概说了一下它能用的场景，给出了Jeff Dean（2009年当选美国工程院院士，2018年 4月3日，出任谷歌旗下搜索与人工智能（AI）业务部门的高级副总裁。）的一张ppt。 图中显示的是DL在谷歌内部的项目数量。 深度学习的发展史Up and downs of deep learning 里面有些生词： 受限玻尔兹曼机，英文名字是Restricted Boltzma...
李宏毅机器学习笔记
weixin_49119476的博客
04-29 1809
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
李宏毅深度学习自用笔记（未完）
weixin_61881981的博客
11-22 397
机器学习是要让机器找到一个函数，类似于语音识别（输入语音输出文字）、图像分类（输入图片，输出类别）、AlphaGO下围棋（输入棋盘状态输出下一步落棋位置）这样的函数。运用最多的是两大类函数：回归和分类。回归（Regression）：输出是一个连续的数值、标量。我的理解就是根据以往的数据对未知的一个预测。 应用：比如PM2.5的预测。分类（Classification）：输出是一个离散的值。 应用：二分类（Binary Classification），输出是0或1、Yes或No、正面或负面（情感分析）。 多分
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值