关于梯度下降算法的讲解

最新推荐文章于 2023-07-23 12:12:31 发布
最新推荐文章于 2023-07-23 12:12:31 发布
阅读量321 收藏 2
点赞数
分类专栏： Python学习之道 文章标签： 随机梯度下降 线性回归 python 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40609376/article/details/119342204
版权

在这里插入图片描述
在这里插入图片描述
线性回归：在某一个点的时候能预测出另一个点的数据，这就叫做线性回归。

那我们如何求线性回归呢？

首先要了解损失函数
在这里插入图片描述
除以2m是为了后面能够更好的计算

预测结果减去真实结果误差的平方 从i到m连加的总和就是损失函数

在这里插入图片描述
将x和y的偏导值打包起来，这就是梯度
在这里插入图片描述
在这里插入图片描述
学习率：可以理解为步伐的大小，简单的来说就是需要自己去调试数据，根据实际情况去调试。

当上次的损失函数-最近一次的损失函数<0.00001（不能再小）就会自动跳出for循环

在这里插入图片描述
数学公式的用法可以简单的理解为，将其转换为代码进行计算，不用了解如何得来的，只需要理解每个符号的真实含义即可。

深入浅出–梯度下降法及其实现

有梦想的“咸鱼”
关注
专栏目录
【梯度下降法】详解优化算法之梯度下降法（原理、实现）
程序星空实验室
06-15 5万+
梯度下降法（Gradient descent，简称GD）是一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。梯度下降法是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时，可以通过梯度下降法来迭代求解，
线性回归逻辑回归以及梯度下降算法讲解
蜗牛遥遥
04-11 3792
量线性回归指只含有一个特征/输入变量x 单变量线性回归表示方法： 单变量的代价函数J（均方误差）： 我们现在用数学公式总结一下我们的问题，即 我们的目的是找到合适的θ0，θ1使得代价函数最小，这时候我们列出所有的θ0，θ1 对应的J值，得到一个三维空间图。 或者得到这种二维空间图 在实际的求Loss最小值中，不可能像我们看到的三维图或者二维图那么直观，我的理解是可能有很多的山组合到一起，...
为什么线性回归中代价函数除以2m？
种花家的奋斗兔的博客
08-01 1497
转https://blog.csdn.net/shengchaohua163/article/details/77871628
线性回归中梯度下降法的代价函数除以2m
b296405422的博客
03-27 980
第一反应是为什么不是1/m，虽然效果是一样的，有人说是方便求导，记录一下： 线性回归中代价函数为： 开始为何是除以2m，第一反应不应该除以m么？在吴恩达机器学习视频公开课上讲解是为了其他数学计算的方便。其实这里无论除以2m还是m，代价函数最优化的结果θ都是相同的。 数学计算的方便：之后利用梯度下降法对J求导，如果是2m2m，求导结果为：∂J∂θi=1m∑i=1m(hθ(x(i)) 这...
Coursera机器学习机器学习笔记 为什么线性回归中代价函数除以2m？
sch的学习笔记
09-06 5896
转载：http://blog.csdn.net/u010106759/article/details/50380442 线性回归中代价函数为： J=12m∑i=1m(hθ(x(i))−y(i))2J=12m∑i=1m(hθ(x(i))−y(i))2 J = \frac{1}{2m} \sum_{i=1}^{m} {\left({h}_{\theta }({x}^{\left(i \rig...
机器学习笔记01-平方差代价函数除以2m的原因
sinat_41787040的博客
08-21 2246
平方差代价函数如下： 除以m是使得误差平均到每个样本，除以2是一个微积分技巧，用于消除计算偏导数时出现的2。
机器学习与数据分析课程笔记-回归
k17041114的博客
05-27 1354
关于线性回归 许多真实的过程能够用线性模型来近似 线性回归通常作为更大系统的一个模块 线性系统能有解析解，不需要迭代逼近，而是直接可以求解出来 线性预测提供了对许多机器学习核心概念的介绍，例如定义目标函数、梯度下降等 一元线性回归 比如一个朋友要买房子，如今已知一些房价的面积和对应价格。我们希望能得到一个模型已知面积预测房价。该图中有许多样本点，每个点横轴对应面积大小、纵轴对应的是...
代价函数中的1/2m的解释
会写Bug的攻城狮
09-14 2826
机器学习和统计学讲线性回归的时候用的公式有一些差异 以下是个人理解 除以m是为了消除样本数量m对J的影响 除以2是为了抵消对J关于θ求偏导数时式子多出的一个2，使计算更方便 ...
python实现梯度下降算法的实例详解
09-16
本文将详细讲解如何使用Python实现梯度下降算法，并通过一个实例进行说明。 首先，我们选用Python 2.7版本，因为Python 3在处理3D图形时可能出现问题。梯度下降算法通常应用于线性回归模型，如这里所使用的模型：\...
梯度下降算法原理讲解-机器学习.pdf
05-12
梯度下降算法是机器学习中的一种基础优化方法，主要用于寻找函数最小值，广泛应用于线性回归、逻辑回归等模型的参数求解。该算法的基本思想是模拟从山顶下山的过程，通过不断迭代调整参数，逐步靠近函数的局部最小值...
机器学习之梯度下降算法
qq_38375203的博客
06-05 2016
因为是CV出身的，转了推荐算法，前面也写了很多关于推荐算法的东西，但是最近写的有点疲了，思前想后决定先放一下推荐算法的基础模型。这几天先写一下机器学习和深度学习的东西，各个领域融会贯通一下。梯度下降算法是求解无约束多元函数极值最常用的数值方法， 很多机器学习常用算法和神经网络都是以它作为算法框架进行优化参数。 所以这个算法非常重要。梯度下降也是一种优化算法， 通过迭代的方式寻找使模型目标函数达到最小值时的最优参数， 当目标函数为凸函数的时候，梯度下降的解是全局最优解，但在一般情况下，梯度下降无法保证全局最优
关于损失函数2m解释
LoveWeeknd
07-20 1934
说明：m是代表m个样本，1/m 表示m个样本方差的均值，2是为了方便后面求导，其实是可以取任意实数  
机器学习笔记——9.25课堂补充
dzc_go的博客
09-26 2168
机器学习笔记——9.25课堂补充一、泰勒展开二阶近似向量形式 一、泰勒展开二阶近似向量形式 在之前的博文中我们使用泰勒公式证明了梯度下降方法的正确性。我们根据一元泰勒公式做了两项变换以应用于梯度下降方法的证明： 1.标量公式改为向量形式书写。 2.对泰勒展开做二阶近似（即最大只保留到二阶项）。 一元泰勒公式： 一元泰勒公式做二阶近似： 多元泰勒公式： 多元泰勒公式+向量矩阵化表示+二阶近似： 上式比较抽象因为涉及到向量矩阵表示，下面进行详细推导： ...
线性回归中代价函数除以2m
学而时习之的博客
12-25 2477
线性回归中代价函数为：   为什么是除以2m？第一反应不应该除以m么？ 是为了后续数学计算的方便。因为这里无论除以2m还是m，代价函数最优化的结果θ都是相同的。利用梯度下降法对J求导，如果是2m，求导结果为： 这里正好除以mm，便于计算。 其中使用的公式是莱布尼茨公式。 (uv)' = u'v + uv'...
qt中split函数怎么用_思考：机器学习中损失函数为什么用2n为底
weixin_39644146的博客
12-05 374
大家好，最近有朋友留言询问为什么在机器学习中的损失函数用2n为底，如下公式所示。损失函数如上图所示，MSE(Mean-square error，均方误差)是比较常用的损失函数方程。确实，MSE公式中，如果使用n替换掉2n，可以达到同样的效果。那么，为什么大部分公式中倾向保留2n呢？机器学习的目的在机器学习中，当有了数据集(dataset)，我们需要创建一个模型，使得模型的预测值和数据集中的真实值尽...
机器学习之线性回归+代码
weixin_41755555的博客
10-12 396
定义 ： 线性回归属于监督学习，目的是在包含正确答案的数据集通过预测找到某种映射关系 x→y。 线性回归的一般形式 对于一般形式解释一下： 1.假设函数可以简单理解为拟合曲线的大致形状，如一次函数y = θx+b 二次y=θ1x^2+θ2x+θ3，然后我们通过minJ(θ)去找最合适θ值（比如梯度下降，正规方程） 2.损失函数顾名思义，就是将每个特征的预测值-实际值的和全部加起来，1/2m 的意...
机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
great_yzl的博客
09-11 9310
目录 一、线性回归基础理论 定义： 线性关系公式： 单特征线性关系： 双特征平面关系： 其他线性模型： 二、线性回归的损失和优化原理 1、损失函数/最小二乘法 2、优化方法： 2-1、正规方程 1、公式 2、原理 2-2、梯度下降 1、单特征 2、双特征 3、梯度下降过程（单特征） 4、梯度下降过程（双特征） 三、正规方程优化（波士顿房价预测） API 1、获取数据集 2、划分数据集 3、标准化 4、 创建预估器，得到模型 代码 四、梯度下降优...
线性回归中的损失函数的数值表达式及向量表达式推导详解
weixin_71894495的博客
07-23 1286
本文通过一元线性回归为例推导出损失函数，并扩展成通用的多元线性回归方程的损失函数，以实际数据为例，转换为向量的表达形式
机器学习损失函数
yangqiang1997的博客
01-15 860
最小二乘法 期望和实际值的方差作为损失函数，1/2是为了方便求导。 实际值又是通过权重W和偏置项b来确定，所以我们可以对它训练。 极大似然估计 我们以抛硬币为例，左边的是我们假设的概率模型，右边是真实世界的实验结果。 c1，c2，c3…c10是该情况发生的概率，西塔是给定的概率模型。 我们计算上述三种情况得到的概率，如下图所示 我们发现第二种模型，概率最大。这些我们假设模型计算的结果叫做似然值，而最大的似然值就是最大似然值。我们就可以认为最大似然值的概率模型越能描述现实世界。 如何训练呢？其中概率依赖于W和
梯度下降算法原理讲解——机器学习
最新发布
09-11
梯度下降算法是机器学习中一种广泛应用的最优化算法，其主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。梯度下降算法的原理可以从一个下山的场景开始理解。算法的基本思想是沿着目标函数梯度的方向更新参数值，以期望达到目标函数的最小值。 在机器学习中，梯度下降算法常常用于求解损失函数的最小值。在简单的线性回归中，我们可以使用最小二乘法来求解损失函数的最小值。然而，在绝大多数情况下，损失函数是非线性的且复杂。因此，梯度下降算法在机器学习领域得到了广泛的应用。实际上，许多优秀的算法都是在梯度下降算法的启发下诞生的，例如AdaGrad、RMSProp、Momentum等等。 梯度下降算法的核心思想是通过计算目标函数的梯度来确定参数更新的方向。梯度表示了函数在某一点上的变化率，沿着梯度的方向可以使函数值快速减小。因此，梯度下降算法沿着梯度的反方向更新参数值，朝着目标函数的最小值靠近。算法的迭代过程会持续更新参数值，直到收敛到最小值或达到停止条件。 在实际应用中，为了提高算法的效率和准确性，通常会对梯度下降算法进行改进和优化。例如，可以使用学习率来控制参数值的更新步长，或者采用批量梯度下降来同时计算多个样本的梯度。这些改进可以帮助算法更快地收敛并找到更好的解。 总之，梯度下降算法是一种重要的最优化算法，在机器学习中被广泛应用。其原理是通过计算目标函数的梯度来更新参数值，以期望达到最小值。通过迭代的方式，梯度下降算法可以找到目标函数的最优解或者接近最优解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值