sklearn -- 梯度下降法

最新推荐文章于 2024-01-15 13:15:03 发布
最新推荐文章于 2024-01-15 13:15:03 发布
阅读量2.2k 收藏 11
点赞数
分类专栏： sklearn 机器学习 文章标签： 梯度下降法 sklearn 随机梯度下降法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40337206/article/details/89710619
版权

梯度下降法

梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

在这里插入图片描述

多元线性回归模型

在这里插入图片描述

损失函数

在这里插入图片描述

批量梯度下降法

在将训练数据集代入损失函数f 中，得到 参数变量 W 和 损失函数f的函数关系，在迭代过程中 使用 f在 W处的梯度 和W = W - ▽ · ε 公式，不断减小损失函数，直至找到最小的损失函数所对应的参数 W。

批量梯度下降法梯度

在这里插入图片描述

随机梯度下降法

将训练数据集中随机一条数据代入损失函数f 中，得到 参数变量 W 和 损失函数f的函数关系，在迭代过程中 使用 f在 W处的梯度 和W = W - ▽ · ε 公式，不断减小损失函数，直至找到最小的损失函数所对应的参数 W。

随机梯度

在这里插入图片描述

随机批量梯度下降法

为了进一步提升收敛速度。每次从数据集中随机选取一批数据训练模型，克服随机梯度下降法中模型对异常数据过度敏感。

python 代码
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
standardScaler = StandardScaler()
X_train_sta = standardScaler.transform(X_train)
X_test_sta = standardScaler.transform(X_test)
sgd_reg = SGDRegressor(n_iter=100000)
sgd_reg.fit(X_train_sta,y_train)
sgd_reg.score(X_test_sta,y_test)
#0.7102320877365798
游九河
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python语言描述随机梯度下降法
09-20
【梯度下降法详解】 梯度下降法是一种广泛应用于机器学习和优化问题的算法，它主要用于寻找函数的局部最小值。在Python编程中，我们可以利用它来优化模型的参数，尤其是损失函数，以达到最小化目标。梯度下降的核心...
分享一下利用sklearn进行线性回归与梯度下降算法代码实践
最新发布
Lysixsixsix的博客
03-25 955
一起来分享学习心得呀！
sklearn实现Stochastic Gradient Descent(随机梯度下降法)
CSDN 精品推荐
01-15 1197
随机梯度下降（Stochastic Gradient Descent, SGD）是一种用于优化的算法，尤其在机器学习和深度学习中非常流行。它是梯度下降算法的一个变体，主要用于减少计算的复杂性，特别是在处理大数据集时。
sklearn之线性回归和梯度下降
影子
04-24 2388
线性回归 定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合 通用公式： 其中w,x为矩阵： 属性和权重的一种组合来预测结果 矩阵也是大多数算法的计算基础 矩阵乘法： 损失函数(误差大小) y_i为第i个训练样本的真实值 h_w (x_i)为第i个训练样本特征值组合预测函数 总损失定义： 又称最小二乘法 如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值） 最小二乘法之正规方程
python sklearn 梯度下降法_吴恩达【机器学习】---多元梯度下降法
weixin_39867509的博客
11-21 143
我想对你说在跟我一起学习【机器学习】的老铁们，你们真的很不错，以前我也是很不想学习的，更别说什么自己去找书来学习，今天早上我看到有这么多的老铁在跟我一下努力我感到很欣慰，有你们一起学习我将更有动力去好好学习。那我觉得一切都是值得的。我们一定能够并肩作战到最后一刻的。也会有飞跃的提升的。昨天有点忙，晚上没有去看你们给我的留意，今早还没有清醒就看到手机上有这么多的留意，我为了不辜负大家对我的期望，起床...
python sklearn 梯度下降法_机器学习之梯度下降分析（python）
weixin_39720865的博客
11-23 493
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代...
三、sklearn实现梯度下降
weixin_30556161的博客
03-01 675
1、梯度下降的概念 　　https://1drv.ms/u/s!AlpiCfg9Lzmug1Dj69iU4OC0Rpt- 2、梯度下降的类型 批量梯度下降 随机梯度下降 小批量梯度下降 3、sklearn实现梯度下降 # 随机梯度下降 from sklearn.linear_model import SGDRegressor from sklearn.prep...
python sklearn 梯度下降法_Python语言描述随机梯度下降法
weixin_39566882的博客
11-28 310
1.梯度下降1）什么是梯度下降？因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。既然是选择一个方向下山，那么这个方向怎么选？每次该怎么走？先说选方向，在算法中是以随机方式给出的，这也是造成有时候...
python sklearn 梯度下降法_梯度下降法及其Python实现
weixin_39552037的博客
11-28 361
梯度下降法及其Python实现基本介绍梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。下面将通过公式来说明梯度下降法。建立模型为拟合函数h(θ) :接下来的目标是将...
梯度下降法和随机梯度下降法 - nolonely - 博客园1
08-03
1. Java单例模式 3. 机器学习之特征选择 4. sklearn参数优化方法 5. 多分类问题multical 6. 梯度下降法和随机梯 1. 某公司面试
sklearn0.19中文文档
10-30
1.1.12. 随机梯度下降, SGD 1.1.13. Perceptron（感知器） 1.1.14. Passive Aggressive Algorithms（被动攻击算法） 1.1.15. 稳健回归（Robustness regression）: 处理离群点 （outliers）和模型错误 1.1.15.1. 各种...
python-代码-优化器-吴恩达
11-19
2.优化器设置成具有动量的梯度下降算法， 3.优化器设置为Adam算法，可分类结果 数据集：sklearn的月亮 涉及权重更新的三种优化算法 借鉴吴恩达的课后习题答案进行手写，可以作为以后学习的参考。 代码语言：python
leetcode分类-learning-path:机器学习和深度学习进阶之路
06-30
SGD（随机梯度下降） 动量法 Adagrad RMSProp Adadelta Adam 计算机视觉 图片增广 Fine-tuning：通过微调来迁移学习 物体检测：CNN SSD YOLO 语义分割：FCN 样式迁移 自然语言处理 seq2seq（编码器—解码器） 注意力...
机器学习入门(二)——梯度下降法
程研板的博客
09-17 430
目录一.梯度下降法概述二.多元线性回归中使用梯度下降法三.梯度下降法的优势四.随机梯度下降法五.如何确定梯度计算的准确性 调试梯度下降法六.sklearn中的梯度下降的方法 一.梯度下降法概述 η为固定值，dJ/dθ为导数，导数为负，说明向右递减，需要向右寻找导数为0的点，则需要前面加个负号，代表正方向，导数负的越大，则需要向右移动更长的距离，负的越小，则移动的越短，直到趋近于0，则找到了局部内最小的点。 //损失函数 def J(theta): return (theta-2.5)**2-1
随机梯度下降原理及在线性回归算法中的应用python代码实现
weixin_71894495的博客
08-03 460
本文讲解了随机梯度下降的原理，并通过自编随机梯度下降代码并应用到线性回归求解中，让读者深入了解随机梯度的原理。最后与Sklearn自带的批量梯度下降和随机梯度下降进行对比，随机梯度下降尽可能的保证了计算精度的同时，能够有效的减少计算量。
最速下降法 python_Python机器学习库Sklearn系列教程（16）-SGD梯度下降法
weixin_39763683的博客
11-27 691
随机梯度下降(SGD) 是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性) 支持向量机 和 Logistic 回归 。Stochastic Gradient Descent (随机梯度下降法)的优势:高效。易于实现 (有大量优化代码的机会)。Stochastic Gradient Descent (随机梯度下降法)的劣势:SGD 需要一些超参数，例如 regul...
python sklearn 梯度下降法_梯度下降算法详解及Python实现.整理
weixin_39794385的博客
11-21 912
1. 梯度下降法的作用梯度下降法用来求函数的极小值，且是一种迭代算法，由于计算机效率高，在机器学习中经常使用。梯度下降法常求凸函数（如机器学习中各种代价函数）的极小值，因为凸函数只有一个极小值，使用梯度下降法求得的极小值就是最小值。与其对应的有梯度上升法，用来求函数的极大值，两种方法原理一样，只是计算的过程中正负号不同而已。凸函数的数学定义：某个向量空间的凸子集（区间）上的实值函数，如果在其定义域...
深入浅出--梯度下降法及其实现
Mr.CHEN专栏
06-05 5717
转自：https://www.jianshu.com/p/c7e642877b0e深入浅出--梯度下降法及其实现 六尺帐篷 关注2018.01.17 21:06 字数 3001 阅读 1210评论 2喜欢 23赞赏 1梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解...
线性回归--梯度下降实现波士顿房价拟合曲线
03-26
首先，我们需要准备数据集。这里我们使用sklearn中的波士顿房价数据集。代码如下： ```python from sklearn.datasets import load_boston import numpy as np data = load_boston() X = data["data"] y = data["target"] ``` 其中，`X`是13个特征的向量，`y`是相应的房价。下一步是对数据进行归一化处理，保证特征权重的一致性。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X = scaler.fit_transform(X) ``` 接下来，我们构建线性回归模型，使用梯度下降法进行训练。具体实现过程如下： ```python class LinearRegression: def __init__(self, alpha=0.01, iterations=1000): self.alpha = alpha # 学习率 self.iterations = iterations # 迭代次数 def fit(self, X, y): m, n = X.shape self.theta = np.zeros(n+1) # 初始化权重 X = np.insert(X, 0, 1, axis=1) # 添加截距项 for i in range(self.iterations): h = np.dot(X, self.theta) # 计算预测值 loss = h - y # 计算误差 gradient = np.dot(X.T, loss) / m # 计算梯度 self.theta -= self.alpha * gradient # 更新权重 def predict(self, X): X = np.insert(X, 0, 1, axis=1) # 添加截距项 return np.dot(X, self.theta) # 返回预测值 ``` 在以上代码中，`fit`方法用来训练模型，`predict`方法用来进行预测。使用该模型对波士顿房价数据进行训练和预测，代码如下： ```python from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) lr = LinearRegression(alpha=0.01, iterations=10000) lr.fit(X_train, y_train) y_pred = lr.predict(X_test) from sklearn.metrics import mean_squared_error print("Mean squared error: %.2f" % mean_squared_error(y_test, y_pred)) ``` 最终，我们可以得到预测结果的均方误差（Mean squared error）。通过不断调整学习率等超参数，就可以得到更好的模型预测效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值