梯度下降的向量法(矩阵法)推导总结

最新推荐文章于 2022-02-27 11:39:48 发布
最新推荐文章于 2022-02-27 11:39:48 发布
阅读量6.6k 收藏 33
点赞数 8
分类专栏： 杂记 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41670466/article/details/89053810
版权
这篇博客总结了梯度下降的向量化推导过程。从输入矩阵X开始，通过矩阵运算和迹的性质，逐步化简MSE损失函数，并应用梯度下降处理，最终得出更新权重ω的矩阵形式，简化了迭代计算。
摘要由CSDN通过智能技术生成

梯度下降向量化推导

再看了一篇博客后，了解了梯度下降向量化的推导公式，所以便写篇博客记录一下，加深一些记忆。
首先，对于输入矩阵X为m*n的矩阵

在这里插入图片描述

所以预测值为 y ^ \widehat{y} y ​:

在这里插入图片描述
MSE= 1 2 ∗ ( y ^ − y ) 2 = 1 2 ( X ω − y ) 2 \frac{1}{2} *(\widehat{y}-y)^2=\frac{1}{2}(X\omega-y)^2 21​∗(y ​−y)2=21​(Xω−y)2
接下来对式子进行化简
首先

X T X = ∑ X i j 2 X^T X=\sum X_{ij}^2 XTX=∑X

最低0.47元/天 解锁文章
D.Fu
关注
  • 8
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解神经网络中矩阵实现的梯度计算
一番の宝物
11-09 2万+
对神经网络有一定了解的同学知道：一般的神经网络的具体实现都是通过矩阵实现的，包括误差反向传导，梯度计算和更新等等，比如y=w*x+b，这里的所有变量都是矩阵，我们通常会叫w和b为参数矩阵，矩阵相乘首先效率比较高，然后也比较好操作，那么对于矩阵形式的导数该怎么计算？比如w矩阵的具体导数dw应该如何计算？首先我们来看一个只有输入和输出层的网络，我们输入X矩阵大小为 N*D， N为batch的大小，也就是
【数学】什么是最小二乘法？如何求解最小二乘法？
最新发布
q742971636的博客
06-14 1986
最小二乘法（Least Squares Method）是一种用于找到数据点最佳拟合曲线的数学优化技术。它通过最小化数据点和拟合曲线之间的误差平方和来实现。广泛应用于统计学、数据分析和机器学习中。在经济学中，最小二乘法可以用来预测消费支出与收入之间的关系。例如，根据历史数据，使用最小二乘法可以拟合出消费支出与收入的关系直线，从而预测未来的消费行为。
梯度下降法解读
qq_36581957的博客
11-21 1093
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯度下降的各种变体 批量梯度下降（Batch gradient descent） ...
梯度下降法的推导
iflink
01-09 2314
梯度下降法的推导01. 问题02. 什么是梯度03. 梯度推导3.1 一阶泰勒展开式3.2 梯度下降法推论04. 梯度下降是用来做什么的?05. 优缺点5.1 优点5.1 缺点06. 总结 梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。 01. 问题 假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山
梯度下降法和误差反向传播推导
u011529752的博客
01-06 5934
梯度下降法原理梯度下降法的示意图如下 前提:假设x⃗ 1×m\vec x_{1\times m}和y⃗ 1×n\vec y_{1\times n}的向量有一个函数关系y⃗ =f(x⃗ |θ)\vec y=f(\vec x|\theta),其中θ\theta是一个ll维的参数向量,为例拟合初函数ff. 现有,kk组观测值,得到训练集矩阵Xk×mX_{k\times m}和Yk×nY_{k\time
姿态结算相关----梯度下降法
遥远的她
11-14 3106
前一章说到了姿态的表示和最常用的三个传感器，有了原始数据之后就要表示姿态(转换矩阵)啊，转换矩阵有误差咋整？想办法修正啊，修正的目的就是让误差趋近于零。 本章所介绍的梯度下降法都是读博主yzhajlydy博文的理解，图文多引用该博主的博文“四元数姿态的梯度下降法推导和解读”。为了尊重原创，本篇定为转载(虽然很多内容都是我码的). 梯度下降法让误差趋近于零的方法就是沿着(误差函数)梯度的反方向走
梯度下降与牛顿法（Python）
飞奔的菜猪的博客
11-18 1173
最近两天一直在复习李航老师的《统计学习方法》这本书上面的知识，看到了优化算法。推导了梯度下降与牛顿法的计算公式，并最终实现了相应python代码。想着记录下来，所以我就用这篇文章来记录一些要点。 梯度下降 关于梯度下降没什么好说的了，就主要是利用函数的一阶导。代码如下： def gradient_descent_ld(grad, cur_x=0.1, learning_rate=0.01,...
梯度下降算法详解（从下山比喻、数学推导到代码实现）
淋曦的进击手记
06-04 4838
1. 方向导数 方向导数：类比于函数的偏导数是函数沿坐标轴方向的变化率，方向导数是函数沿某一射线方向的变化率。 定理：如果函数 f(x,y)f(x,y)f(x,y) 在点 P0(x0,y0)P_0(x_0,y_0)P0​(x0​,y0​) 可微分，那么函数在该点沿任一方向 lll 的方向导数存在，且有 ∂f∂l∣(x0,y0)=fx(x0,y0)cos⁡α+fy(x0,y0)cos⁡β(1) \left. \frac{\partial f}{\partial l} \right|_{(x_0,y_0)} =
梯度下降法原理解析（大白话+公式推理）
热门推荐
weixin_58420301的博客
02-27 2万+
梯度下降法的原理解析（浅层解析（大白话）+原理公式推导）。
梯度下降法，牛顿迭代，牛顿法，拟牛顿法总结对比
bitcarmanlee的博客
11-23 3649
1.梯度下降 梯度下降是优化方法中最基础也是最重要的一类。其思想也很简单： f(x)=f(x0)+f′(x0)(x−x0)+⋯f(x) = f(x_0) + f'(x_0)(x-x_0) + \cdotsf(x)=f(x0​)+f′(x0​)(x−x0​)+⋯ 上面是函数f(x)的一阶泰勒展开。如果我们令 xk+1=xk−f′(x0)x_{k+1} = x_k - f'(x_0)xk+1​=xk​−f′(x0​) 很明显可以看出f(xk+1)<f(xk)f(x_{k+1}) < f(x_k)f(
论文研究-梯度特征向量排序法的推导与改进.pdf
09-20
论文研究-梯度特征向量排序法的推导与改进.pdf, 层次分析法作为多准则决策的一种实用方法,近年来有了迅速发展,本文介绍的特征向量法能较好地解决层次分析法中所遇到的判断矩阵很不一致或有明显偏好性时求权向量的...
计算方法-第4章-4.5 共轭梯度法1
08-04
矩阵 A 的特征值 λ1 和 λn 分别代表模最大和最小的特征值，根据特征值的性质，可以推导出共轭梯度法的迭代次数不会超过 n 步，其中 n 是矩阵 A 的阶数。 总结来说，共轭梯度法是求解对称正定线性方程组的有效算法...
矩阵向量求导
04-08
通过对模型参数进行求导，可以实现梯度下降等优化算法，进而调整模型参数以最小化损失函数。此外，在神经网络训练过程中，也需要大量利用这些求导技术来进行反向传播算法的实现。 #### 九、总结 本文系统地介绍了...
Iterative_Method_suchl91_bicg迭代_GMRES_bicg_迭代法_
09-30
CG法的优点在于每次迭代仅需矩阵与向量的乘积，不需进行矩阵分解，适合大规模问题。 2. BICG法（双共轭梯度法）： BICG法是在非对称矩阵情况下扩展CG法的一种迭代方法。与CG法相比，BICG法允许矩阵非对称，但要求...
数学建模17-01 岭回归和Lasso回归的基础 OLS回归的矩阵推导
09-14
在数据分析和机器学习领域，回归分析是一种广泛应用的统计方法，用于预测和建模因变量与一个或多...通过矩阵推导，我们可以深入理解它们的工作原理，并在Matlab等工具中实现这些模型，以优化模型性能并提高预测准确性。
数据结构要求的代码
HPU WIN
10-12 949
N！的递归实现 #include&lt;stdio.h&gt; #include&lt;string.h&gt; const int maxn=1e5+10;; long long step[maxn]; long long solve(int x) { if(step[x]) return step[x]; else return step[x]=x*solve(x-1); ...
双栈实现四则运算-目前只限于10以内的运算
HPU WIN
10-17 444
#include&lt;stdio.h&gt; #include&lt;stdlib.h&gt; #include&lt;iostream&gt; #define OK 1 #define error 0 #define MAXSIZE 100 using namespace std; typedef struct { char *top; char *base; int sta...
关于优先队列重载符号的一点总结
HPU WIN
11-21 368
我到现在仍然对优先队列的重载不明白，刚刚看了一个博主的文章，豁然开朗。 之所以在以结构体为元素的优先队列进行重载时 bool operator &lt;(const node b)const { return h&gt;b.h; }  这样做的原因解释如下：因为这个重载操作符的意思是如果h&gt;b.h成立，那么就证明当前的队列首部的那个节点记为a吧，证明a&lt;b成立，因为优先...
机器学习中的矩阵向量求导解析
而向量或矩阵对向量的求导则可能涉及到梯度向量或雅可比矩阵的转置。矩阵对向量的求导通常称为雅可比矩阵的转置，而矩阵对矩阵的求导则涉及弗雷德霍姆微分算子或弗雷德霍姆积分算子，这些在更高级的理论中才会遇到。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值