李宏毅深度学习——机器学习训练(二)局部最小值和鞍点

已于 2022-03-13 19:54:30 修改
阅读量542 收藏
点赞数
分类专栏： 李宏毅深度学习 文章标签： 机器学习
于 2022-03-13 11:52:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58586235/article/details/123456842
版权

使用梯度下降最小化损失函数时，可能会出现梯度为零但损失仍大的情况，此时到达鞍点或局部最小值watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

 现使用泰勒级数逼近，从数学角度判断该点类型。watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16critical point:临界点

eigen:特征 

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

m0_58586235
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
视频学习笔记——李宏毅机器学习——P1，2
09-12
总结来说，机器学习是一个涵盖广泛领域的研究主题，包括深度学习、监督学习、无监督学习和强化学习等多种方法。这些方法都在不断进步，推动着人工智能的发展，并在众多实际应用中展现出强大的潜力。通过持续的学习和...
机器学习——模型评估，选择与验证
weixin_45588852的博客
04-07 3562
文章目录机器学习——模型评估，选择与验证训练集与测试集为什么要有训练集与测试集如何划分训练集与测试集欠拟合与过拟合欠拟合过拟合偏差与方差模型误差来源偏差与方差验证集与交叉验证为什么需要验证集k折交叉验证集成学习自助法衡量回归的性能指标MSERMSEMAER-Squared准确度的缺陷混淆矩阵精准率与召回率精准率召回率精准率与召回率之间的关系应该选精准率还是召回率作为性能指标？F1 Score什么是F1 ScoreROC曲线与AUCROC曲线AUCsklearn中的分类性能指标accu\fracy_score
[AI算法][深度学习]：鞍点以及如何跳出鞍点
Bin_Dut的博客
03-25 6696
最近阅读了有关鞍点得到文章，做了一下总结： 鞍点的定义： 鞍点 （saddle point）的数学含义是： 目标函数在此点上的梯度（一阶导数）值为 0， 但从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。 而当在某点的一阶导为0时，该点称为驻点。 判断鞍点的一个充分条件是：函数在一阶导数为零处（驻点）的Hessian矩阵为不定矩阵。 半正定矩阵： 所有特征值为非负，或主子式...
深度学习基础--BP和训练--局部最优和鞍点
wydbyxr的博客
11-13 3348
局部最优和鞍点   造成神经网络难以优化的一个重要（乃至主要）原因不是高维优化问题中有很多局部极值，而是存在大量鞍点。   吴恩达视频中讲的，虽然没有理论的证明，局部最小值就是全局最小值，但是很多实际的经验告诉我们，最后，只能收敛到一个最小值，也就是说，很多现实实际问题是只有一个最小值的。但这个最小值通常是鞍点。 认识鞍点的历史   BP算法自八十年代发明以来，一直是神经网络优化的最基本的方法。神...
深度学习识点复习：鞍点
qq_16236875的博客
04-10 1527
讨论寻找凸路径时可能会遇到的临界点。 1 临界点类型： 为了最小化函数一般是梯度下降（假定所有的函数都是可微的） 当梯度等于0的时候，该点为临界点，也就是局部最优解，对于强凸函数，也就是全局最小点。 对于非凸函数，例如，当x=(0,0) 时，梯度为0 向量，很明显此点不是局部最小值点，这种情况下，（0，0） 叫做该函数的鞍点。 为了区分这种情况，需要考虑二阶导数，,n*n 的矩阵，称为H...
深度学习笔记 10 神经网络的优化
qq_41134483的博客
10-22 1454
深度学习优化算法介绍，梯度下降法，动量法，参数初始化，归一化
李宏毅深度学习课件.rar
12-02
李宏毅教授是国际知名的机器学习专家，他在深度学习领域的教学经验丰富，其课程深受广大学习者喜爱。本压缩包“李宏毅深度学习课件.rar”包含了李宏毅老师深度学习课程的完整资料，旨在帮助学习者系统地理解和掌握...
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
李宏毅深度学习ppt
12-24
台湾大学李宏毅教授的深度学习方面的一些课堂ppt资料，希望可以帮到你们
李宏毅老师深度学习PPT
11-18
李宏毅老师的深度学习PPT可能包含了这些领域的理论基础、模型架构、训练技巧以及实际应用案例，对于初学者和有经验的研究者都是宝贵的参考资料。通过深入学习这些内容，读者不仅可以理解深度学习的基本原理，还能...
2022李宏毅机器学习深度学习学习笔记第七周--局部最小点和鞍点
qq_45612705的博客
06-05 656
回顾了找出一个函式的三个步骤：先写一个带有未知参数的函式，定义一个可以判断参数好坏的loss，最后通过梯度下降法来优化参数使得loss的值变低；介绍任务攻略，说明在训练结果不好的时候，怎样进行分析，loss大的时候可能是bias和优化的问题，小的时候看测试数据的loss，测试数据的loss大可能是overfitting和mismatch的问题；最后讲了局部最小点和鞍点，在遇到临界点的时候可能optimization 会失败，以及通过数学方法判断是局部最小点还是鞍点。1.写一个带有未知参数的函式 先猜测函数f
机器学习--神经网络训练：局部最小值和鞍点
最新发布
projectfailed的博客
10-16 469
在之前的机器学习中，我们学到模型的优化方式，如果在一点Loss函数降不下去了，那么说明我们在这个点（critical point）的梯度趋近于零。这个有两种情况，一种就是我们真正找到了（局部最小值），还有一种情况就是我们找到了一个（鞍点）如图所示，（想象你坐在这个马鞍上）这种情况我们按原来的优化方式可能就是我们的点在前后移动，但这时得到的Loss都比我们的saddle point要小，所以我们需要改进我们的优化方式，让我们的点左右移动，减小我们的Loss值。
机器学习中的数学——深度学习优化的挑战：高原、鞍点和其他平坦区域
冯·诺依曼
03-04 1万+
对于很多高维非凸函数而言，局部极小值（以及极大值）事实上都远少于另一类梯度为零的点：鞍点。鞍点附近的某些点比鞍点有更大的代价，而其他点则有更小的代价。在鞍点处，Hessian矩阵同时具有正负特征值。位于正特征值对应的特征向量方向的点比鞍点有更大的代价，反之，位于负特征值对应的特征向量方向的点有更小的代价。我们可以将鞍点视为代价函数某个横截面上的局部极小点，同时也可以视为代价函数某个横截面上的局部极大点。 多类随机函数表现出以下性质：低维空间中，局部极小值很普遍。在更高维空间中，局部极小值很罕见，而鞍点则很
李宏毅机器学习笔记第7周_局部最小值与鞍点
peaunt1的博客
05-29 436
局部最小值与鞍点
【深度学习】鞍点
热门推荐
筱
02-04 1万+
长期以来，人们普遍认为，神经网络优化问题困难是因为较大的神经网络中包含很多局部极小值（local minima），使得算法容易陷入到其中某些点。到2014年，一篇论文《Identifying and attacking the saddle point problem in high-dimensional non-convex optimization》，提出高维非凸优化问题之所以困难，是因为存
李宏毅机器学习【深度学习】（5）【鞍点与局部最优】
lance～crazy
07-22 323
optimization saddle point （critical point）导致梯度更新失败 使用泰勒展开式中 Hessian 来判断是否是saddle point H may tell us parameter update direction 实际过程中不可能算 hessian ，没人用该方法逃离saddle point saddle point 和 local minima 谁更常见 二维上的local minima 在三维上可能是一个saddle point 后面的明天更新 .
【学习笔记】李宏毅2021春机器学习课程第2.1节：局部最小值(local minima)与鞍点(saddle point)
Harryline的博客
07-11 1142
【学习笔记】李宏毅2021春机器学习课程第2.1节：局部最小值(local minima)与鞍点(saddle point) Critical Point 我们常常在做Optimization的时候发现，随着参数不断update，loss不会再下降，但是我们对这个loss仍然不满意，有时候我们甚至会发现一开始我们的模型就训练不起来。 过去常见的一个猜想，是因为我们现在走到了一个地方，这个地方参数对loss的微分为0，这时gradient descent就没有办法再更新参数了，所以loss当然就不会再下降了。
局部最小值(local minima)和鞍点(saddle point)
YKbsmn的博客
04-12 9884
梯度下降法优化有时候会失效？ 你可能会想到是因为我们现在走到一个地方，这个地方参数对L的微分为0。当参数对L的微分为0时，梯度下降就停止了，也就无法继续更新参数了。这个时候training就停下来了，L当然就不会下降了。 那么gradient为零（统称为critical point）的时候，有哪种情况？ 1、局部最小值 2、鞍点(如图可看出，左右是比红点高，前后比红点低。) ...
李宏毅深度学习教程：深度学习基础与趋势
"李宏毅的深度学习教程PPT提供了300页的详细内容，涵盖了深度学习的基础技术，包括神经网络的变种、训练深度神经网络的技巧、深度学习的下一次浪潮等主题。课件中包含丰富的图片和公式推导，适合初学者和有一定基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值