《深度学习》李宏毅 -- task5网络技巧设计

已于 2022-03-20 21:01:30 修改
阅读量188 收藏
点赞数 1
分类专栏： 深入浅出AI 机器学习 文章标签： 机器学习 深度学习
于 2021-08-24 22:35:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/119900179
版权
本文探讨了深度学习网络设计中的关键技巧，如梯度下降局限、分批处理（包括动力学方法）、分类处理、分批标准化的必要性。通过引用DataWhale-李宏毅的教程，讲解了如何避免局部最小值和鞍点问题，以及如何利用分批训练提高效率。
摘要由CSDN通过智能技术生成

本文参考：【DataWhale-李宏毅深度学习】Task05网络设计的技巧_LucyFang2020的博客-CSDN博客

Datawhale深度学习资料：LeeML-Notes

深度学习中的网络设计技术(一) ——理论概述_gwprock的博客-CSDN博客_深度学习网络设计

一、梯度下降法的局限

局部最小值saddle point和鞍点local minima
优化（Optimization）损失函数失败的原因主要有2种：
1.局部最小值 (local minima)，无路可走。
2.鞍点 (saddle point)，还可以继续梯度下降。

在这里插入图片描述
最好先知道损失函数的形状，才能更好的解决上面的问题。

二、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GoAI
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
《深度学习》李宏毅 -- task2 回归
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 367
深度学习》李宏毅 -- task2 回归笔记，介绍回归定义、用法及相关案例，进行步骤展示总结。
【DataWhale-李宏毅深度学习】Task05网络设计的技巧
LucyLuo2020的博客
07-19 282
参考链接：https://datawhalechina.github.io/leeml-notes 视频连接：https文章目录一、优化损失函数失败的原因二、Tips for training: Batch and Momentum 训练建议：分批和动力 一、优化损失函数失败的原因 优化（Optimization）损失函数失败的原因主要有2种： 1.局部最小值 (local minima)，无路可走。 2.鞍点 (saddle point)，还可以继续梯度下降。 最好先知道损失函数的形状，才能更好的解决上
深度学习中的网络设计技术(一) ——理论概述
阿鹏的摇滚小站
02-17 914
一、网络设计
《深度学习》李宏毅 -- task7总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-28 200
本系列学习内容：机器学习介绍，回归，误差和梯度下降，深度学习介绍和反向传播机制 ，网络设计的技巧，卷积神经网络
网络设计技巧（李宏毅深度学习 task 5）
Yzy_fulture的博客
07-21 328
网络设计技巧1. 局部最小值与鞍点1.1 相关定义：1.2 梯队逼近为0的原因情况的判断local minima和saddle point哪个更常见？2. 批次（batch）与动量（momentum）2.1 批次（batch）2.1.1 概述：2.1.2 为什么要用batch2.1.3 神奇之处：1.noisy的gradient 反而 可以帮助training2. 小的batch也对testing有帮助2.2 动量（momentum）2.2.1 一般的gradient descent2.2.2 加上mome
李宏毅深度学习-task2
weixin_46714700的博客
07-14 189
回归方程 损失函数（Loss function） 机器学习中的监督学习本质上是给定一系列训练样本，尝试学习映射关系，使得给定一个函数公式，即便这个样本不在训练样本中，也能够输出，尽量与真实的接近。损失函数是用来估量模型的输出与真实值之间的差距，给模型的优化指引方向 均方差损失（Mean Squared Error Loss） 均方差（Mean Squared Error，MSE）损失是机器学习、深度学习回归任务中最常用的一种损失函数，也称为 L2 Loss 平均绝对误差损失（Mean Absolute Er
2021-07 李宏毅机器学习打卡Task05：网络设计的技巧
qq_40258328的博客
07-21 356
Task05 网络设计的技巧 学习地址 李宏毅机器学习B站视频地址 new: 2021春课程视频地址 李宏毅机器学习开源笔记地址 论坛版块 网络设计的技巧(解决神经网络训练问题) (一)局部最小值(local minima)与鞍点(saddle point) loss不下降的一个可能原因：卡在了critical point critical point 即梯度接近0的点，包括local minima和saddle point How to do with critical point? if me
【李宏毅机器学习】task05-网络设计的技巧
m0_49376775的博客
11-24 254
在训练过程中，不可避免的会有局部最小值和鞍点的问题。它们的梯度都为0，我们把这两种点统称为临界点（Critical Point）当然为了防止陷入局部最小值，我们可以在学习率十分低时突然清零，跳出局部，看看最后收敛是否还在原来位置。如下图，下一步有梯度和学习率共同决定，随迭代次数逐渐增加，梯度会越来越小。我们需要梯度朝向损失函数小的地方，所以使用负特征值对应特征向量。：即使有一个段是局部最小值，其他部分不是，那么就不是局部最小值。，使梯度由当前梯度和历史梯度共同决定。为正定矩阵（所有特征值为正）时，
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
李宏毅-深度学习高级技巧一天搞懂深度学习
02-24
李宏毅-深度学习高级技巧一天搞懂深度学习。“一天搞懂深度学习”（共286页）。李宏毅教授在文中分四个章节对深度学习的介绍、训练深度神经网络的技巧，神经网络的种类以及未来的发展进行了介绍。注：为什么叫"一天...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
深度学习-李宏毅
09-25
《深度学习-李宏毅》是由台湾大学著名教授李宏毅主讲的一套深度学习课程的讲义，这套资料对于深度学习的初学者来说是一份非常宝贵的资源。李宏毅教授以其深入浅出的讲解风格，使得复杂难懂的深度学习概念变得易于...
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 24万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
机器学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 12万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
Pytorch入门教程
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-08 3万+
Pytorch学习总结:1.张量Tensor 张量是一种特殊的数据结构，与数组和矩阵非常相似。在PyTorch中，我们使用张量对模型的输入和输出以及模型的参数进行编码。 张量类似于NumPy的ndarray，除了张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和NumPy数组通常可以共享相同的底层内存，从而无需复制数据。...
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
文心一言：中国版“ChatGPT”介绍与测评
最新发布
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-20 2万+
本文主要介绍chatgpt概念及相关产品，重点介绍文心一言，通过对比Chatgpt、新必应及文心一言进行测评，对比仅挑选几个例子，主要展示文心一言在各方面的能力，大家感兴趣可以去官网申请等待。
李宏毅深度学习教程：入门神经网络与训练技巧
李宏毅教授的深度学习教程是针对深度学习初学者设计的一系列课件，旨在帮助学习者快速掌握深度学习的核心概念。教程由浅入深，从深度学习的基本原理开始，逐步引导学生了解这一领域的关键技术和应用。 深度学习作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值