深度学习的梯度下降法

已于 2022-04-27 21:28:32 修改
阅读量1.3k 收藏
点赞数
文章标签： 深度学习 tensorflow
于 2022-04-27 11:08:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niu2212035673/article/details/124445661
版权

目录​​​​​​​

梯度下降法

哈密顿算子

最优化问题和回归分析

代价函数

学习数据和正解

误差反向传播法

神经单元误差​

梯度下降法

梯度下降法是一种寻找最小值的点的方法，在数值分析领域，梯度下降法也称最速下降法

近似公式

表示为两个向量的内积形式

 向量a,b的内积为a\cdot b = |a||b|cos\theta，\theta为180时内积的值最小，可得向量a满足以下条件式时，内积a\cdot b取最小值

两个变量函数的梯度下降法的基本式子

函数z = f(x, y)，当x改变\Delta x，当y改变时\Delta y，函数 f(x, y)的变化\Delta z为下式

 当两个向量的方向相反时\Delta z最小。

 即梯度下降的基本公式

梯度下降法及用法

当有多个变量时，梯度下降法基本公式如下为函数f在点(x_{1},x_{2}\cdots x_{n})的梯度为

点(x_{1},x_{2}\cdots x_{n})向点 移动就能以最快的速度移动，因此反复依照计算梯度，并按梯度移动就能找到最小值点

哈密顿算子

梯度下降法基本公式也可由哈密顿算子表示

也可以表示成

32，\eta的含义

可以看成函数移动的步长，在神经网络中称为学习率

最优化问题和回归分析

一元线性回归方程

p称为回归系数，q称为截距

代价函数

 

在最优化方面，误差总和C_{T}也可以称为代价函数

学习数据和正解

利用事先提供的数据来确定权重和偏置，在神经网络中称为学习

误差反向传播法

代价函数计算量大，无法直接使用梯度下降法时，引入误差反向传播法

普通的计算方法：先代入数据，然后计算偏导

误差反向传播法：先计算偏导，然后代入数据，减少了大量的偏导计算过程

神经单元误差\delta _{j}^{l}

引入误差反向传播法的特点是将繁琐的导数计算替换为数列的递推关系式，提供这些递推关系式的就是神经单元误差

 权重，偏置的偏导数和的关系

 \delta _{j}^{l}的计算方法

 将\delta _{j}^{l}看作数列，得到末项的计算公式 

 层L与下一层L+1的值的关系式

 

先锋小牛
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络怎么调整权重,bp神经网络确定权重
aifamao2的博客
09-15 4070
好文案。BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。
深度学习【1】梯度下降法
m0_63462829的博客
08-13 890
梯度下降法是什么，梯度下降法的种类及优化。
深度学习基础之梯度下降
最新发布
weixin_43775295的博客
05-16 613
1 梯度下降 1.1 机器学习中为什么需要梯度下降 梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用： （1）梯度下降是迭代法的一种，可以用于求解最小二乘问题。 （2）在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法（Gradient Descent）和最小二乘法。 （3）在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 （4）如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。 （5）
【深度学习】常见的梯度下降的方法
weixin_40293999的博客
03-24 635
常见的梯度下降的方法
深度学习笔记_基本概念_梯度下降及示例代码
惊鸿一博
11-09 1431
目录 1. 什么是梯度下降法？ 2. 举个例子 3. 完整代码示例 1. 什么是梯度下降法？ 以函数求解最小值为例： y= x^2:改变自变量x的值，让梯度y’（因自变量的导数）逐渐减小到0，从而使y达到最小。 以求解模型参数为例： y = ax+b: 我们想要通过采样值(x,y) 求解模型中参数a和b, 则需要构造一个损失函数loss： loss =(ax+b – y)^2: 求使loss最小时的a和b. 即等价于函数求解最小值。 更详细的说： 例如：y = x^2 y’ ...
深度学习：详解梯度下降、随机梯度下降、小批量随机梯度下降
qq_41298763的博客
10-27 2495
但每次迭代中只使用一个样本计算梯度，因此每次迭代的梯度都是有噪声的，毕竟不是所有样本的均值，所以下降（下山）会走一点弯路，但总体因为总的迭代次数很多，所以随机梯度下降法最终会收敛到最优解 ，还是划得来的。我们可以其看作一个下山的过程：对于梯度下降而已，是找到了最优的下山路径，所有它的曲线比较直，而对于随机梯度下降，它因为随机选一个样本ti来近似f(x)——所有样本的损失平均，所以找的并不是最优的下山路径，但方向是对的，只是要走弯路，因此它下山的曲线比较曲折。随机梯度下降，是指在时间t，
pytorch深度学习梯度下降算法
03-19
可以很好的了解梯度下降算法，更好的帮助想要学习和了解pytorch深度学习的同学。Tensor对象及其运算 Tensor的索引和切片 PyTorch的Reduction操作 PyTorch的自动微分Autograd都是我们要学习的内容
深度学习梯度下降算法（背景、原理、各种算法介绍）
01-25
梯度下降算法是深度学习中不可或缺的优化方法，它的历史可以追溯到18世纪，由数学家Cauchy首次提出。随着计算机科学的发展，尤其是在机器学习和深度学习领域，梯度下降的应用越来越广泛。本文将深入探讨梯度下降的...
随机梯度下降与小批量梯度下降算法
10-23
损失使用平方函数，简单的线性模型 y = theta1 + theta2 * x
Tensorflow 深度学习笔记（二）梯度下降法
01-06
导数、偏导数、方向导数、梯度 导数，指的是一元函数中，函数y=f(x)在某一点处沿x轴正方向的变化率； 偏导数，指的是多元函数中，函数y=f(x1,x2,…,xn)在某一点处沿某一坐标轴（x1,x2,…,xn）正方向的变化率。 方向...
梯度下降算法.zip
08-25
为了改进梯度下降的效果，现代深度学习框架中引入了许多优化器，如动量法、Adagrad、RMSprop、Adam等，它们通过自适应地调整学习率或考虑历史梯度信息来加速收敛。 **五、代码资源** 文件`code_resource_01`可能是...
梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
あずにゃん梓喵的博客
08-12 3736
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.2 梯度下降(Gradient Descent) 2.2.1 什么是梯度下降 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景： 一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大...
深度学习入门之SGD随机梯度下降法
热门推荐
weixin_46713695的博客
03-01 3万+
SGD SGD为随机梯度下降法。用数学式可以将 SGD 写成如下的式（6.1）。 这里把需要更新的权重参数记为W，把损失函数关于W的梯度记为∂L/∂W 。η 表示学习率，实际上会取 0.01 或 0.001 这些事先决定好的值。式子中的←表示用右边的值更新左边的值。如式（6.1）所示，SGD 是朝着梯度方向只前进一定距离的简单方法。现在，我们将 SGD 实现为一个 Python 类（为方便后面使用，我们将其实现为一个名为 SGD 的类）。 class SGD: def __init__(self,
梯度下降简介及简单示例
chimi7315的博客
06-04 430
导数微分梯度，看完这文章对梯度下降有了一个相对清晰的认识 以下部分内容摘自https://www.jianshu.com/p/c7e642877b0e 梯度下降的场景假设 梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上...
机器学习中常见问题_几种梯度下降法
AIGC | 智能洞察，创造未来
04-19 2万+
随机梯度下降 批梯度下降 minibatch
深度学习之梯度下降算法(SGD,RMSProp,Adam)
weixin_39451323的博客
05-28 6628
梯度下降算法改进1. 优化遇到的问题1.1 梯度消失1.2 局部最优1.3 参数初始化策略（复习）2. 批梯度下降算法（Batch Gradient Descent）3. Mini-Batch Gradient Descent4. 批梯度下降与Mini-Batch梯度下降的区别5. 梯度下降优化影响6.大小选择7. 指数加权平均8. 动量梯度下降法9. RMSProp 算法10. Adam算法11...
深度学习基础_梯度下降法
weixin_43254438的博客
01-30 324
梯度下降法是一种致力于找到函数极值点的算法。 所谓“学习”便是改进模型参数，以便通过大量训练步骤将损失最小化。 将梯度下降法应用于寻找损失函数的极值点便构成了依据输入数据的模型学习。 梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导: 梯度的输出向量表明了在每个位置损失函数增长最快的方向,可将它视为表示了在函数的每个位置向哪个方向移动函数值 可以增长。 ...
深度学习优化方法：梯度下降法及其变形
AI_BigData_WH的博客
09-17 1821
深度学习在许多情况下都涉及优化，在诸多的优化问题中最难得就是深度神经网络的训练：寻找深度神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。J(θ)构成一个曲面或者曲线，我们的目的是找到该曲面的最低点。根据前面介绍的最速优化原理可知为了快速找到到最优的参数θ，需要沿着整个训练集的梯度方向下降。
深度学习（七）梯度下降法
u013247002的博客
12-06 814
写在前面：所有关于深度学习的基础知识均为鄙人的笔记分享，很多内容摘自大神们的博客或论文，因时间太长记不清了分别来自哪里。若有侵权，请联系鄙人邮箱min.wenfang@qq.com 应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。总结如下 下面我们以线性回归算法来对三种梯度下降法进行比较。 　...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值