笔记 - 梯度下降：平原现象与振荡现象

最新推荐文章于 2023-10-07 16:38:44 发布
最新推荐文章于 2023-10-07 16:38:44 发布
阅读量2k 收藏 2
点赞数
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_holy/article/details/90813826
版权

在这里插入图片描述

TODO

从数学上证明梯度下降更新会导致参数发散

更新

在这里插入图片描述不理解
毕竟初始化的时候，已经是0～1之间了，感觉常规的参数初始化应该不会对
梯度发散有什么影响吧

  • 引起梯度下降异常的因素：
    • 1.样本输入特征的数据（样本的输入如果很大，求出来的梯度也会很大）
      • 或则说样本数据极其不稳定，由于样本的不稳定导致计算的梯度值也不稳定
    • 2.权重初始化的大小（目前只能理解在非凸函数上成立，但上面的意思，似乎在凸函数上也成立…）
chen_holy
关注
专栏目录
Python学习笔记 --- ImportError: No module named sqlalchemy
杨鑫newlife的专栏
08-25 2万+
Python学习笔记 --- ImportError: No module named sqlalchemy
梯度下降的技巧和原理 |李宏毅机器学习【4】
python令狐冲
09-06 978
在很多机器学习损失函数（Loss Function）最小化的计算中，梯度下降是一种适用范围广泛且效果稳定的方法。 梯度(Gradient):  函数对所有变量分别求偏导得到的vector，几何意义是Loss  function等高线的法线方向。梯度方向可以简单理解为函数上升最快的方向，负梯度方向就是函数下降最快的方向，所以利用梯度求函数最优值的方法就称作梯度下降法。   沿着梯度的反方...
梯度下降所带来的问题——迭代发散
Veilhry
06-09 1427
对于梯度下降算法，我们知道α值过小时，每次下降的程度非常小，导致接近最小值的过程较长，而当α值过大时，就特别容易发散。处理时可以使用数据归一化 对于α值的设置需要十分小心。我通过拟合一元线性回归时，使用梯度下降算法不断最小化损失函数 J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J(θ_0,θ_1)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x^{(i)})−y^{(i)})^2 J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2 其中的偏.
梯度下降
csdn_kelly的博客
05-20 385
1.批量梯度下降 缺点：当m很大时，计算量非常大，耗时 1.随机梯度下降（一般情况下不会完全收敛，只是接近全局最小） 判断是否收敛？以及什么时候调整学习率的值？ 画出1000个数据随着梯度更新带来的代价函数的变化曲线，根据曲线去判断，好处是不需要遍历整个数据集。 （从左到右，从上到下的顺序）第一幅图是收敛时，蓝色为大学习率，红色为减小学习率可能得到的结果，第二张图是收敛时，增加样本数量可能得到的结果，第三幅图红色是增加样本数量相比1000可能收敛的结果，粉色是没有学习的情况，这是就
动量梯度下降法(gradient descent with momentum)
热门推荐
我的学习笔记
10-28 3万+
简介 动量梯度下降法是对梯度下降法的改良版本，通常来说优化效果好于梯度下降法。对梯度下降法不熟悉的可以参考梯度下降法，理解梯度下降法是理解动量梯度下降法的前提，除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处，动量梯度下降法怎样改善了原来方法的不足以及其具体的实现算法。依次从以下几个方面进行说明： 小批量梯度下降法(mini-batch gradient descent) 指数...
梯度下降（Gradient Descent）
zbwgycm的博客
02-25 3821
梯度下降 考虑一个无约束的，平滑的凸优化问题 min⁡xf(x)\min_x f(x)xmin​f(x) 其中，fff是凸函数，且在定义域dom(f)=Rndom(f)=R^ndom(f)=Rn上是可微的。 算法 选择一个初始点x(0)∈Rnx^{(0)}\in R^nx(0)∈Rn，重复操作： x(k)=x(k−1)−tk⋅∇f(x(k−1)), k=1,2,3.,..x^{(k)} ...
[RK3399][Android7.1] 调试笔记 --- USB：device descriptor read/64, error -32
Kris Fei's blog
11-14 6478
Platform: RK3399 OS: Android 7.1 Kernel: v4.4.83 现象： 由于rk3399四个usb口不能满足数量需求，对其中的usb3.0(非OTG口)进行外接Hub(用的是GL850)做扩展。 插上U盘后出现如下error: [ 41.443701] usb 2-1.1: device descriptor read/64, error -32 [ 41...
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-un
Hibercraft的博客
01-04 9119
极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks 本文提出一种Lovasz-Softmax loss，专门正对分割任务的评价指标IoU进行优化设计。由于本文涉及到的数学概念超出所学知识，因...
【DL学习笔记】打卡02：Task03-05
01-07
注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是...
深度学习中为什么要使用多于一个epoch?
云中寻雾的博客
07-17 4305
什么是epoch？ 当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。然而，当一个epoch对于计算机而言太庞大的时候，就需要把它分成多个小块。 为什么要使用多于一个epoch? 在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如...
随机梯度下降法_动量梯度下降法(gradient descent with momentum)
weixin_39567870的博客
12-17 699
简介动量梯度下降法是对梯度下降法的改良版本，通常来说优化效果好于梯度下降法。对梯度下降法不熟悉的可以参考梯度下降法，理解梯度下降法是理解动量梯度下降法的前提，除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处，动量梯度下降法怎样改善了原来方法的不足以及其具体的实现算法。依次从以下几个方面进行说明： 小批量梯度下降法(mini-batch gradient descent) ...
梯度下降法常用技巧
weixin_41288646的博客
06-12 314
机器学习入门中拟合参数的技巧与方法
梯度下降算法总结
KangRoger的专栏
03-30 2914
梯度下降法：基本梯度下降法、Momentum梯度下降法、Nesterov Momentum梯度下降法、AdaGrad、RMSprop、AdaDelta、Adam
深度学习之图像分类（二）优化器
最新发布
m0_46521375的博客
10-07 389
深度学习模型通过引入损失函数，用来计算目标预测的错误程度。根据损失函数计算得到的误差结果，需要对模型参数（即权重和偏差）进行很小的更改，以期减少预测错误。但问题是如何知道何时应更改参数，如果要更改参数，应更改多少？这就是引入优化器的时候了。简单来说，优化器可以优化损失函数，优化器的工作是以使损失函数最小化的方式更改可训练参数，损失函数指导优化器朝正确的方向移动。优化器即优化算法是用来求取模型的最优解的，通过比较神经网络自己预测的输出与真实标签的差距，也就是Loss函数。
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
梯度下降法的理解以及马鞍点
weixin_45209433的博客
10-09 1413
一、梯度下降法 梯度下降法是训练神经网络常用的优化算法 梯度下降法基于以下的观察：如果实值函数f(x)在a点处可微且有定义，那么函数f(x)在点a沿着梯度相反的方向下降最快。 二、批梯度下降法 批梯度下降法：把所有的数据都遍历一遍，计算每个数据的梯度，然后将所有数据的梯度加起来，求平均，使用平均梯度更新参数值。 将所有的数据都计算完之后，更新一次参数。 特点： 在凸优化的情况下，一定会找到最优解； 在非凸优化情况下，一定能找到局部最优解； 不适合在线求解 三、随机梯度下降法 随机梯度下降法：每个ep
梯度下降优化算法综述（翻译）
自然语言处理大菜鸟--HsingWang
03-24 1万+
原文链接：http://sebastianruder.com/optimizing-gradient-descent 博文地址： 梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时，每一个先进的深度学习库都包含各种算法实现的梯度下降（比如lasagne's, caffe's, 和 keras'的文档）。然而，这些算法经常作为黑盒优化程序使用，所以难以感受
深度学习 - 理论笔记总结
iamfishman
06-30 1157
深度学习笔记： 1. 描述常用3种IOU，分别针对那种情况使用？ ① 交并比：交集/并集。即框和框的重叠的程度。为了删除一些同目标位置重叠的框。 ② 最小IOU：最小面积框/并集。为了删除预测框在真实框内部，且框住部分不完整的情况。 ③ 最大IOU：最大面积框/并集。 2. 描述数据增强的常用手段，yoloV4使用的手段？ 数据增强： （1） 裁剪：①中心裁剪，② 随机裁剪，③ 随机长宽比裁剪， ④ 上下左右中心裁剪， ⑤ 上下左右中心裁剪后翻转； （2）翻转和旋转：① 水平翻转， ② 垂直翻转， ③ 随
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值