李宏毅8月深度学习类神经网络训练不起来怎么办Task05打卡

最新推荐文章于 2024-10-31 14:28:33 发布
最新推荐文章于 2024-10-31 14:28:33 发布
阅读量215 收藏
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wkywcd/article/details/119920901
版权
本文主要讨论深度学习中遇到的问题，如如何区分local minima和saddle point，以及优化方法如Batch和Momentum。介绍了Batch Normalization的重要性，以及在训练过程中如何调整学习率。同时，对分类任务中的损失函数和训练难点进行了分析。
摘要由CSDN通过智能技术生成

目录

一、如何辨认梯度为0是处于local minima还是saddle point?

（如果卡在saddle point仍有路走）
1、用泰勒级数表示Loss函数形状
在这里插入图片描述

  • 当处于critical point，一阶导数为0，即g为0，通过第一项和第三项判断是局部最大值、局部最小值还是鞍部
    2、通过第三项的正负判断
    在这里插入图片描述
    3、如果是卡在saddle point
    在这里插入图片描述
  • 当特征值小于0，沿着此刻特征向量的方向更新

二、Batch和Momentum

2.1Batch

1、batch字面上是批量的意思,全部的batch构成一个epoch，在算完一个epoch后打乱重新构成新的batch组合，再接着做梯度下降更新参数
在这里插入图片描述

最低0.47元/天 解锁文章
wkywcd
关注
神经网络训练不起来怎么办---李宏毅《机器学习》笔记05
ppsswhite的博客
08-25 510
文章目录一、局部最小值与鞍点二、使用步骤1.引入库2.读入数据总结 一、局部最小值与鞍点 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore'
李宏毅 4 神经网络训练不起来怎么办
mushroom_yogurt的博客
05-25 408
https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php 1. local minima and saddle point 局部最优和鞍点 https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/small-gradient-v7.pdf local minima: 微分为零 saddle point: critical point 微分为零 根据泰勒展开公式，一次求导为0后可以看二次求导，判断
【机器学习】李宏毅——类神经网络训练不起来怎么办
FavoriteStar的博客
09-05 499
【机器学习】李宏毅——类神经网络训练不起来怎么办，讲解了很多种可以进行改进的方法，非常值得学习！
李宏毅机器学习打卡Task05：神经网络训练不起来怎么办？
chensen99的博客
03-22 695
一、局部最小值(Local minima)和鞍点(Saddle point)
李宏毅 - 神经网络训练不起来怎么办（二）
qq_43533724的博客
07-27 158
Batch and Momentum: Batch:使用训练集中一小部分样本对模型权重进行一次反向传播对的参数更新，这一小部分样本被称为“一批数据”。 Epoch:使用训练的全部数据对模型进行一次完整训练，被称为“一代训练”。 Iteration:使用一个Batch数据为模型进程一次参数更新的过程，被称为“一次训练”。 我们每次计算的梯度和损失都是计算一个Batch中的梯度和损失。 batch设置的大小对模型训练有很大影响，根据需要选择自己的Batch。 Momentum梯度下降：首先在物理的世界里面，假
李宏毅深度学习课程笔记05——神经网络训练不起来怎么办
weixin_43904427的博客
07-20 264
1.驻点 驻点又称临界点（critical point），是指多元函数一阶导数等于零的点。 寻找到函数的驻点时loss function的导数为零，根据梯度下降算法，参数不再进行更新，但驻点不一定是我们要寻找的函数的极值点，可能是局部最小值（local minima），也可能是鞍点（saddle point），如果不做处理，loss无法继续下降，就会导致优化失败。 上图展示了驻点两种情况，首先我们要判断出是哪一种。 根据泰勒近似展开将损失函数用包含一阶导数和二阶导数的多项式来表示，表达式第二项中
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
李宏毅老师深度学习PPT
11-18
深度学习是人工智能领域的一个核心部分，它通过模拟人脑神经网络的工作原理，让计算机能够从大量数据中自动学习特征并进行预测。李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括...
李宏毅深度学习课件.rar
12-02
在李宏毅老师的课程中，你会深入学习到深度学习的核心算法，如反向传播（Backpropagation）、卷积神经网络（Convolutional Neural Networks, CNN）、循环神经网络（Recurrent Neural Networks, RNN）以及生成对抗...
2021李宏毅机器学习（3）：类神经网络训练不起来怎么办
niexinyu0026的博客
02-13 2093
2021李宏毅机器学习（3）：类神经网络训练不起来怎么办1 任务攻略1.1 如果在训练集上的 loss 始终不够小1.2 如果 loss 在训练集上小，在测试集上大1.3 任务攻略的示意图2 局部最小值 (local minima) 与鞍点 (saddle point)3 批次（batch）与动量（momentum）3.1 批次（batch）3.2 动量（momentum） 1 任务攻略 1.1 如果在训练集上的 loss 始终不够小 情况一：model bias（模型本身有很大限制）——构造更复杂的模型
李宏毅 - 神经网络训练不起来怎么办 （四）
qq_43533724的博客
07-28 242
损失函数Loss也会有影响: 首先对回归和分类做一下简单的了解。 现在看一下分类的损失函数 e 怎么计算的。当然 Cross-entropy 相较于 MSE更常用于分类问题上。 Softmax 和 Cross-entropy 通常也是绑定在一起的。 ...
【深度学习】02-02-类神经网络训练不起来怎么办?(局部最小值local minima & 鞍点saddle point)-李宏毅老师21&22深度学习课程笔记
星辰不问
06-16 537
【深度学习】02-02-类神经网络训练不起来怎么办?(局部最小值local minima & 鞍点saddle point)-李宏毅老师21&22深度学习课程笔记
【深度学习】02-04-类神经网络训练不起来怎么办?(自动调整学习速率)-李宏毅老师21&22深度学习课程笔记
星辰不问
06-16 718
【深度学习】02-04-类神经网络训练不起来怎么办?(自动调整学习速率)-李宏毅老师21&22深度学习课程笔记
深度学习（五）：神经网络训练不起来怎么办
Xiaoffy's Blog
07-20 642
深度学习（五）：神经网络训练不起来怎么办 梯度很小的时候 无法判断是local minimalocal\ minimalocal minima还是saddle pointsaddle\ pointsaddle point，以下是判断的一个方法的数学推导Tayler Series ApproximationTayler\ Series\ ApproximationTayler Series Approximation： 首先，L
【李宏毅2021机器学习深度学习】 神经网络训练不起来怎么办？
py今天刷题了吗
12-02 1297
文章目录写在前面神经网络训练不起来怎么办？【2-2】04_Local Minimum And Saddle Point（Saddle Point不可怕，Local Minimum 几乎不可能遇到，在高维度上看就不是Local Minimum 了）local minimal 很少，几乎不可能遇到（在更高的维度上看，local minimal可能就不是local minimal了）【2-3】05_Batch and Momentum（训练技巧）Batchbig batch_size 时间并不比 small ba
自监督强化学习：对比预测编码（CPC）算法深度解析
shiming8879的博客
10-31 414
自监督强化学习是一种结合自监督学习与强化学习优势的新兴方法。它利用数据的内在结构生成监督信号，从而减少对外部标签的依赖，使智能体能够在无标签或标签稀缺的环境中学习有效的表示。CPC算法则是自监督强化学习中的一种重要算法，它通过对比学习（Contrastive Learning）来提取全局特征，帮助智能体学习有用的状态表示。CPC算法由DeepMind提出，旨在减少无监督学习中对标签的依赖，同时最大化局部信息和全局特征之间的关联。
反向传播算法：AI 神经网络的学习秘籍
JiexianYao的博客
10-31 250
反向传播原理科普
深度学习-如何计算神经网络的输出？
最新发布
lqq
10-31 178
给定一个包含输入层、隐藏层和输出层的神经网络架构，可以逐层推导出各节点的输出值。具体步骤如下： 输入层计算： 输入层有 3 个节点，编号为 1、2、3，输入向量为 x_1, x_2, x_3 。 输入层节点的输出值直接就是输入向量，即： a1=x1,a2=x2,a3=x3 隐藏层节点计算： 隐藏层有 4 个节点，编号为 4、5、6、7。每个节点和输入层节点之间都有连接，并且每个连接具有对应的权重。 以隐藏层节点 4 为例。该节点的输出值 a_4由输入层节点 1、2、3
神经架构搜索：自动化设计神经网络的方法
hai40587的博客
10-28 467
神经架构搜索（NAS）是一种自动设计神经网络架构的方法，通过搜索最优的神经网络结构来提高模型性能。传统设计的局限性：传统的神经网络设计依赖于专家经验和大量实验，这一过程不仅繁琐，而且耗时。此外，手动设计的神经网络架构往往受到设计者的经验和知识的限制，很难达到全局最优。自动化需求：随着深度学习技术的不断发展，对神经网络架构的需求不断增加。手动设计已经无法满足快速迭代的需求，因此需要一种自动化的方法来快速找到最优的神经网络架构。计算资源的提升：近年来，计算资源的不断提升为神经架构搜索提供了可能。
李宏毅深度学习教程：入门神经网络与深度学习基础
教程内容包括深度学习的基本技术、神经网络的变体、训练深度神经网络的技巧以及深度学习的未来趋势等。教程通过丰富的图片和简单易懂的方式阐述了深度学习的核心概念。" 深度学习是当前人工智能领域的一个重要分支...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值