梯度下降的向量法(矩阵法)推导总结

最新推荐文章于 2024-05-27 23:40:33 发布
最新推荐文章于 2024-05-27 23:40:33 发布
阅读量6.6k 收藏 33
点赞数 8
分类专栏： 杂记 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41670466/article/details/89053810
版权
这篇博客总结了梯度下降的向量化推导过程。从输入矩阵X开始，通过矩阵运算和迹的性质，逐步化简MSE损失函数，并应用梯度下降处理，最终得出更新权重ω的矩阵形式，简化了迭代计算。
摘要由CSDN通过智能技术生成

梯度下降向量化推导

再看了一篇博客后，了解了梯度下降向量化的推导公式，所以便写篇博客记录一下，加深一些记忆。
首先，对于输入矩阵X为m*n的矩阵

在这里插入图片描述

所以预测值为 y ^ \widehat{y} y ​:

在这里插入图片描述
MSE= 1 2 ∗ ( y ^ − y ) 2 = 1 2 ( X ω − y ) 2 \frac{1}{2} *(\widehat{y}-y)^2=\frac{1}{2}(X\omega-y)^2 21​∗(y ​−y)2=21​(Xω−y)2
接下来对式子进行化简
首先

X T X = ∑ X i j 2 X^T X=\sum X_{ij}^2 XTX=∑X

最低0.47元/天 解锁文章
D.Fu
关注
  • 8
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性回归——梯度下降法
Linkin_ygw的博客
04-13 639
问题引入已知南京地区的一组数据： 面积 房间数 价格 2104 3 400 1600 3 330 2400 3 369 1416 2 232 现在来了一个新的房子，知道其面积和房间数，其价格应该是多少合适呢？ 我们可以将面积和房间数看成是房子的两个特征，如何根据这些特征预测价格，需要建立其价格与特征之间的联系。我们设定价格与这些特征之间呈一
论文研究-梯度特征向量排序法的推导与改进.pdf
09-20
论文研究-梯度特征向量排序法的推导与改进.pdf, 层次分析法作为多准则决策的一种实用方法,近年来有了迅速发展,本文介绍的特征向量法能较好地解决层次分析法中所遇到的判断矩阵很不一致或有明显偏好性时求权向量的...
代价函数和梯度下降
qq_45249251的博客
07-12 400
其中 hθ(x)=θ0+θ1x1 表示预测函数，我们可以通过改变θ0θ1 来使预测函数更好的与这些数据集拟合。 ​ 横轴代表房子面积，纵轴代表房子价格，我们要选择合理的参数值，使得在数据集中给出的数据x值，可以更接近得到预测y值。所给出的标准就是在线性回归问题中，我们要解决的是一个最小化问题。即写出关于θ0 θ1 最小化，从而引出代价函数这一定义。 hθ (x(i))代表预测函数的输出值，y（i）代表真实数值，其两者之差的平方的m个数据集的和，1/2m则是为了减少平均误差。为了目标明确，我们定义J（θ0
梯度下降法原理解析（大白话+公式推理）
热门推荐
weixin_58420301的博客
02-27 2万+
梯度下降法的原理解析（浅层解析（大白话）+原理公式推导）。
一文解释线性回归方程，多元线性回归推导，最小二乘法推导
最新发布
m0_73426548的博客
05-27 1282
学习线性回归最小二乘法凸函数这一篇就够了
机器学习--Python矩阵运算和梯度下降法
weixin_45888898的博客
04-05 1155
文章目录==Python==1、矩阵基本运算2、矩阵乘法3、矩阵转置4、求方阵的迹5、方阵的行列式计算方法6、求逆矩阵 / 伴随矩阵总结 Python 1、矩阵基本运算 1.引入 numpy 库 import numpy as np 2.使用 mat 函数创建一个 2X3矩阵 a = np.mat([[1, 2, 3], [4, 5, 6]]) a 3.使用 shape 可以获取矩阵的大小 a.shape 4.使用下表读取矩阵中的元素 5.进行行列转换 a.transpose() a.T
数值计算之 梯度向量和梯度矩阵，雅可比矩阵，海森矩阵
qq_41035283的博客
11-30 7146
数值计算之 梯度向量，雅可比矩阵，海森矩阵前言梯度向量梯度矩阵雅可比矩阵海森矩阵总结 前言 非线性最小二乘中的函数求导内容，主要涉及梯度向量、雅可比矩阵和海森矩阵。因此提前做一个辨析。实际上之前在矩阵求导中已经提到过这些内容。 梯度向量 对于实值向量函数f(x)∈R,x=(x1,x2,…,xn)Tf(x)\in R,x=(x_1,x_2,\dots,x_n)^Tf(x)∈R,x=(x1​,x2​,…,xn​)T，其梯度向量可表示为： ∇f(x)=∂f(x)∂x=[∂f∂x1∂f∂x2…∂f∂xn] \nab
计算方法-第4章-4.5 共轭梯度法1
08-04
矩阵 A 的特征值 λ1 和 λn 分别代表模最大和最小的特征值，根据特征值的性质，可以推导出共轭梯度法的迭代次数不会超过 n 步，其中 n 是矩阵 A 的阶数。 总结来说，共轭梯度法是求解对称正定线性方程组的有效算法...
Iterative_Method_suchl91_bicg迭代_GMRES_bicg_迭代法_
09-30
CG法的优点在于每次迭代仅需矩阵与向量的乘积，不需进行矩阵分解，适合大规模问题。 2. BICG法（双共轭梯度法）： BICG法是在非对称矩阵情况下扩展CG法的一种迭代方法。与CG法相比，BICG法允许矩阵非对称，但要求...
数学建模17-01 岭回归和Lasso回归的基础 OLS回归的矩阵推导
09-14
在数据分析和机器学习领域，回归分析是一种广泛应用的统计方法，用于预测和建模因变量与一个或多...通过矩阵推导，我们可以深入理解它们的工作原理，并在Matlab等工具中实现这些模型，以优化模型性能并提高预测准确性。
数值分析课程设计-最速下降法.pdf
09-13
最速下降法基于泰勒展开和牛顿法的思想，但不求解二阶导数矩阵，而是利用梯度信息来确定下降方向。因为沿着梯度的负方向，函数值下降最快。步长α的选择是关键，通常采用 backtrack line search 或者 Armijo rule ...
梯度下降法的matlab代码，包括最小二乘法，梯度下降法的矩阵形式
05-12
包括单特征的样本的最小二乘法计算， 单特征样本的梯度下降法--代数版本 多特征样本的梯度下降--矩阵运算表示。 在矩阵表示的梯度下降法中运用标准差归一化（可选择注释）。 有比较详细的注释
梯度下降的矩阵分解公式推导
宁静致远 厚积薄发
03-29 8044
http://www.cnblogs.com/hxsyl/p/4881727.html 目标函数是要最小化C： 　　求其梯度： 　　梯度下降求最小值：
梯度下降法与牛顿法的解释与对比
weixin_30586257的博客
12-18 316
1 梯度下降法 我们使用梯度下降法是为了求目标函数最小值f（X）对应的X，那么我们怎么求最小值点x呢？注意我们的X不一定是一维的，可以是多维的，是一个向量。我们先把f（x）进行泰勒展开： 这里的α是学习速率，是个标量，代表X变化的幅度；d表示的是单位步长，是一个矢量，有方向，单位长度为1，代表X变化的方向。什么意思呢？就是说我们这里求最值，不是一下子就找到最小值对应的X，而是一点点的迭代...
部分连接情况下反向传播和梯度下降的矩阵推导
weixin_42939529的博客
08-26 192
部分连接情况下反向传播和梯度下降的矩阵推导 在上一篇文章中，我大概记录了一下反向传播的矩阵推导形式。由于各个教材、论文等对于向量的写法、向量求导法则的表示方法等不统一，导致各种公式让人困惑。我于是决定将我的学习结果记录下来以供复习。本次记录一下在部分连接的情况下反向传播的推导公式，同时也从另一个角度，即和标量计算结果的对应，来证明一下矩阵求导公式。该结果同时是之后对卷积操作的反向传播的证明的基础。...
梯度下降算法推导（笔记）
wx805541464的专栏
10-09 1331
一直对ML中各种数学推导有些云山雾罩，所以打算整理一下这些常见的推导公式。有幸有高人的博客可以参考，个人感觉比李航书上的推导更详细。 1.梯度下降是ML中应用最广泛的用于求解模型参数的算法（类似算法还有牛顿法、拟牛顿法、共轭方向、共轭梯度法等）。原理主要是对损失函数的每一个函数求导，并利用负梯度对权值w进行更新。
梯度下降法的向量化推导
lgb_love的专栏
08-06 633
https://www.cnblogs.com/zhongmiaozhimen/p/6134609.html
浅谈——图像梯度算法中算子由来
入门记
11-24 2万+
相关概念 如何求图像的梯度？ 求图像的梯度，一般是对灰度图像或者彩色图像进行操作。数字图像就是离散的点值谱，也可以叫二维离散函数。图像的梯度就是这个二维离散函数的求导。 导数（Derivative）是微积分中的重要基础概念。在百度百科里面是这样解释的：当函数y=f(x)的自变量X在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a
梯度下降公式的求导过程（吴恩达课程）
xiaopan233的博客
01-31 8220
该课程在讲到梯度下降时。有一个公式。如下图 难点就是求导过程，求导结果如下： 但老师直接给出了求导的答案。没有讲解推导过程。我便学了两天微积分的导数。试图推导该公式。若有什么不正确的地方望指正。 首先是j=0时的求导公式推导： j=1时的求导公式推导   其实只要学下导数就可以进行推导了 课程链接： 微分课程：http://open.163.com/spec...
线性回归两种求解方式（解析解和梯度下降法两种方法），包含公式推导。
06-06
线性回归是一种常见的机器学习算法，用于预测一个连续的数值输出。给定一个由 $m$ 个样本组成的训练集，每个样本都有 $n$ 个特征，线性回归的目标是找到一条直线（或超平面），使得这个训练集上的预测值和真实值之间的误差最小。 假设有 $m$ 个样本，每个样本有 $n$ 个特征，用 $x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots,x_n^{(i)})$ 表示第 $i$ 个样本的特征向量，用 $y^{(i)}$ 表示第 $i$ 个样本的真实值，用 $w=(w_1,w_2,\cdots,w_n)$ 表示要求解的线性回归模型的参数向量，用 $b$ 表示偏置项，则线性回归模型可以表示为： $$h_w(x^{(i)})=w_1x_1^{(i)}+w_2x_2^{(i)}+\cdots+w_nx_n^{(i)}+b$$ 接下来，我们分别介绍线性回归的两种求解方式：解析解和梯度下降法。 ### 1. 解析解 求解线性回归的解析解，即找到一组参数 $w$ 和 $b$，使得对于训练集中的每个样本 $(x^{(i)},y^{(i)})$，都有 $h_w(x^{(i)})\approx y^{(i)}$，并且使得所有样本上的误差 $\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})^2$ 最小。 为了找到最小化误差的参数 $w$ 和 $b$，我们可以对误差函数 $\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})^2$ 求偏导数，并令其为零，求得参数的解析解。具体来说，我们可以使用矩阵运算来求解，即： $$w=(X^TX)^{-1}X^Ty$$ 其中，$X$ 是一个 $m\times(n+1)$ 的矩阵，其第 $i$ 行为 $(1,x_1^{(i)},x_2^{(i)},\cdots,x_n^{(i)})$，$y$ 是一个 $m\times 1$ 的向量，其第 $i$ 个元素为 $y^{(i)}$。$X$ 矩阵中第一列的所有元素均为1，是为了方便计算偏置项 $b$。 ### 2. 梯度下降法 求解线性回归的另一种方法是梯度下降法。梯度下降法的基本思想是沿着误差函数最陡峭的方向，逐步调整模型的参数，使得误差函数最小化。 对于线性回归模型，我们可以定义误差函数为： $$J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})^2$$ 其中，$\frac{1}{2m}$ 是为了方便计算梯度，$h_w(x^{(i)})$ 是模型对第 $i$ 个样本的预测值，$y^{(i)}$ 是第 $i$ 个样本的真实值。 我们可以使用梯度下降法来最小化误差函数 $J(w,b)$。具体来说，我们需要不断地更新参数 $w$ 和 $b$，使得其朝着误差函数最小化的方向移动。具体的更新方法是： $$w_j:=w_j-\alpha\frac{\partial J(w,b)}{\partial w_j}$$ $$b:=b-\alpha\frac{\partial J(w,b)}{\partial b}$$ 其中，$\alpha$ 是学习率，控制每次更新的步长。 我们可以通过求偏导数的方法来计算误差函数 $J(w,b)$ 对参数 $w$ 和 $b$ 的偏导数，具体来说： $$\frac{\partial J(w,b)}{\partial w_j}=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$ $$\frac{\partial J(w,b)}{\partial b}=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})$$ 然后，我们就可以使用梯度下降法来更新模型的参数了。具体来说，我们可以反复执行以下步骤，直到误差函数收敛或达到最大迭代次数： 1. 计算误差函数 $J(w,b)$ 的梯度，即 $\frac{\partial J(w,b)}{\partial w_j}$ 和 $\frac{\partial J(w,b)}{\partial b}$。 2. 使用学习率 $\alpha$ 和梯度更新模型的参数 $w$ 和 $b$，即： $w_j:=w_j-\alpha\frac{\partial J(w,b)}{\partial w_j}$ $b:=b-\alpha\frac{\partial J(w,b)}{\partial b}$ 下面是梯度下降法的推导过程： 首先，对误差函数 $J(w,b)$ 求偏导数，得到： $$\frac{\partial J(w,b)}{\partial w_j}=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$ $$\frac{\partial J(w,b)}{\partial b}=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})$$ 然后，我们可以使用梯度下降法来更新模型的参数 $w$ 和 $b$。具体来说，我们可以反复执行以下步骤，直到误差函数收敛或达到最大迭代次数： 1. 计算误差函数 $J(w,b)$ 的梯度，即 $\frac{\partial J(w,b)}{\partial w_j}$ 和 $\frac{\partial J(w,b)}{\partial b}$。 2. 使用学习率 $\alpha$ 和梯度更新模型的参数 $w$ 和 $b$，即： $w_j:=w_j-\alpha\frac{\partial J(w,b)}{\partial w_j}$ $b:=b-\alpha\frac{\partial J(w,b)}{\partial b}$ 下面是梯度下降法的推导过程： 首先，我们考虑更新参数 $w$。根据梯度下降法的公式，有： $$w_j:=w_j-\alpha\frac{\partial J(w,b)}{\partial w_j}$$ 代入误差函数 $J(w,b)$ 的定义式，有： $$w_j:=w_j-\alpha\frac{1}{2m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})^2$$ 对上式求偏导数，有： $$\frac{\partial J(w,b)}{\partial w_j}=\frac{\partial}{\partial w_j}\left(\frac{1}{2m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})^2\right)$$ $$=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})\frac{\partial}{\partial w_j}(h_w(x^{(i)})-y^{(i)})$$ $$=\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$ 所以，我们可以将更新参数 $w$ 的公式改写为： $$w_j:=w_j-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$ 这就是梯度下降法更新参数 $w$ 的公式。同样地，我们可以推导出更新参数 $b$ 的公式，即： $$b:=b-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_w(x^{(i)})-y^{(i)})$$ 这样，我们就可以使用梯度下降法来求解线性回归模型的参数了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值