李宏毅《机器学习》丨5. Tips for neural network design（神经网络设计技巧）

已于 2022-07-21 17:27:26 修改
阅读量402 收藏
点赞数 1
分类专栏： 【机器学习】 文章标签： 机器学习 神经网络 人工智能
于 2022-06-22 23:35:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43328313/article/details/125418355
版权

Author：AXYZdong
李宏毅《机器学习》系列
参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef
参考文档：DataWhale文档

文章目录

一、局部最小值与鞍点

Optimization Fails because …

  • local minima（局部最小值）
  • saddle point（鞍点）

在这里插入图片描述

▲ 优化失败原因

二、批次与动量

  • Optimization with Batch

在这里插入图片描述

▲ 批次优化
  • Gradient Descent + Momentum
    在这里插入图片描述
▲ 带动量的梯度下降

三、自动调整学习速率

RMSProp(root mean square prop，均方根)
学习原理∶在自适应梯度基础上引入了衰减因子，在梯度累积的时候，会对“过去”与“现在”做一个平衡，通过超参数进行调节衰减量。
适合处理非平稳目标（也就是与时间有关的)，对于RNN效果很好。

在这里插入图片描述

▲ RMSProp

Adam(Adaptive momentum optimization，自适应动量优化)
是目前深度学习中最流行的优化方法，它结合了自适应梯度善于处理稀疏梯度和均方根善于处理非平稳目标的优点，适用于大数据集和高维空间。
在这里插入图片描述

▲ Adam

四、损失函数的影响

主要是对分类任务的影响。

在这里插入图片描述

▲ Loss of Classification

五、批次标准化

批次标准化（Batch Normalization），改变不同特征的范围（changing landscape
）。

在这里插入图片描述

▲ Changing Landscape

在这里插入图片描述

▲ Feature Normalization

六、总结

Datawhale组队学习，李宏毅《机器学习》Task5. Tips for neural network design（神经网络设计技巧）。包括局部最小值与鞍点、批次与动量、自动调整学习速率、损失函数的影响和批次标准化。李老师课程中对数学的原理讲得很清楚，不过对于侧重应用可以不求甚解，知道设计的技巧即可。

—— END ——

如果以上内容有任何错误或者不准确的地方，欢迎在下面 👇 留言。或者你有更好的想法，欢迎一起交流学习~~~

更多精彩内容请前往 AXYZdong的博客

AXYZdong
关注
专栏目录
生成式对抗网络（GAN）（李宏毅2022）
linyuxi_loretta的博客
10-24 1386
我们。
李宏毅机器学习HW5.zip
04-08
进入21世纪，深度学习成为机器学习领域的重要突破，采用多层神经网络模型，通过大量数据和强大的计算能力来训练模型，在计算机视觉、自然语言处理和语音识别等领域取得了显著的成果。 机器学习算法在各个领域都有...
neural network design
06-21
这是一本neural network design的电子书，书中讲述了神经网络的具体设计等好多有用的方法。
Neural Network Design
11-11
Neural Network Design英文版，Neural Network Design英文版Neural Network Design英文版
Neural Network Design Demonstration
10-08
Neural Network Design Demonstrations(神经网络设计代码演示) 一个神经网络源程序教学任务包，里面有130个M文件，可直接调用，供大家参考。
Neural Network Design.pdf
11-28
Neural Network Design.pdfNeural Network Design.pdf
Neural Network Design(英文高清PDF版)
04-24
Neural Network Design(英文高清PDF版) 虽然只有前面四章，不过确实非常清晰，值得下载
李宏毅《机器学习》丨7. Conclusion（总结）
AXYZdong的博客
06-26 519
Datawhale组队学习，李宏毅《机器学习》Task7. Conclusion（总结）。
李宏毅机器学习笔记
weixin_44247784的博客
07-12 1855
有监督学习supervised learning需要提供一些有目标值的数据给机器去学习。用loss来判断函数的好坏，loss越小函数越符合我们的期待。 reinforcement learning强化学习，机器自主进行学习。（Alpha Go是supervised learning + reinforcement learning） unsupervised learning无监督学习，给机器提供一些无目标值的数据去学习。 meta learning：让机器学习如何去学习 一、Regression R.
Neural Network Design Demonstrations_nndesign_2014b
04-28
Neural Network Design提供的Matlab上的Demo, 神经网络
Neural Network design_第二版_英文_(非掃描)
03-18
此分享资源由作者所分享之在线资源，包含第二版本参考书，Matlab练习code, 上课ppt讲义等，在此跟广大想学习的同学们一同使用这资源~
李宏毅机器学习hw4.zip
最新发布
04-08
进入21世纪，深度学习成为机器学习领域的重要突破，采用多层神经网络模型，通过大量数据和强大的计算能力来训练模型，在计算机视觉、自然语言处理和语音识别等领域取得了显著的成果。 机器学习算法在各个领域都有...
【ML】 李宏毅机器学习课件及代码.zip
04-02
机器学习算法涵盖众多方法，包括但不限于逻辑回归、决策树、随机森林、支持向量机、K近邻算法、神经网络以及深度学习技术等。随着计算能力的增强和大数据时代的到来，机器学习已经在诸多领域展现出强大的功能，如...
Neural Network Design第二版资源链接
Barry_123的博客
04-19 1822
Neural Network Design第二版资源链接 本学期选修了人工神经网络课程，老师提供的参考教材是英文图书《Neural Network Design》，这是一部经典的神经网络入门教材。 老师提供的是PDF扫描版，质量较差，因此我尝试自己搜索资源，还真让我给找到了。NNDesign.pdf。下载速度较慢可以复制链接用迅雷下载 此外还有教材的配套资料也可以在这里下载到数据和demo 意外...
机器学习技法 Lecture12: Neural Network
无所知的博客
01-11 254
机器学习技法 Lecture12: Neural NetworkMotivationNeural Network HypothesisNeural Network LearningOptimization and Regularization Motivation 首先用图示看一下对多个感知机模型进行aggregation之后得到的模型的样子： 每个g都对应了一个感知机函数，然后再通过加权求和再...
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AXYZdong

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值