梯度下降—Python实现

最新推荐文章于 2024-09-04 15:33:47 发布
最新推荐文章于 2024-09-04 15:33:47 发布
阅读量3.3k 收藏 35
点赞数 2
文章标签： 算法 python 神经网络 机器学习 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247593697&idx=5&sn=86bddbd6b8fda2281490f8983888c806&chksm=fb548c0dcc23051b613da803229b972b27985d6a5bcf23d02fd2987b8ba863558c03ea5a4b55&scene=126&&sessionid=0
版权

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

  磐创AI分享  

作者 | Vagif Aliyev 

编译 | VK 

来源 | Towards Data Science

ee6d5e0f49287f7434dcbacd638aa790.png

梯度下降是数据科学的基础，无论是深度学习还是机器学习。对梯度下降原理的深入了解一定会对你今后的工作有所帮助。

你将真正了解这些超参数的作用、在背后发生的情况以及如何处理使用此算法可能遇到的问题，而不是玩弄超参数并希望获得最佳结果。

然而，梯度下降并不局限于一种算法。另外两种流行的梯度下降（随机和小批量梯度下降）建立在主要算法的基础上，你可能会看到比普通批量梯度下降更多的算法。因此，我们也必须对这些算法有一个坚实的了解，因为它们有一些额外的超参数，当我们的算法没有达到我们期望的性能时，我们需要理解和分析这些超参数。

虽然理论对于深入理解手头的算法至关重要，但梯度下降的实际编码及其不同的“变体”可能是一项困难的任务。为了完成这项任务，本文的格式如下：

  1. 简要概述每种算法的作用。

  2. 算法的代码

  3. 对规范不明确部分的进一步解释

我们将使用著名的波士顿住房数据集，它是预先内置在scikit learn中的。我们还将从头开始构建一个线性模型

好的，首先让我们做一些基本的导入。我不打算在这里做EDA，因为这不是我们文章的真正目的。不过，我会把一些事情说明白。

import numpy as np
import pandas as pd 
import plotly.express as px
from sklearn.datasets import load_boston
from sklearn.metrics import mean_squared_error

好的，为了让我们看到数据是什么样子，我将把数据转换成一个数据帧并显示输出。

data = load_boston()

df = pd.DataFrame(data['data'],columns=data['feature_names'])
df.insert(13,'target',data['target'])
df.head(5)
818ac8c03ef59cc2a3676cb3fd9006f7.png

好吧，这里没什么特别的，我敢肯定你之前已经类似实现过了。

现在，我们将定义我们的特征（X）和目标（y）。我们还将定义我们的参数向量，将其命名为thetas，并将它们初始化为零。

X,y = df.drop('target',axis=1),df['target']

thetas = np.zeros(X.shape[1])

成本函数

回想一下，成本函数是衡量模型性能的东西，也是梯度下降的目标。我们将使用的代价函数称为均方误差。公式如下：

78538d6235ed043ac4bdfc3a5ae735d9.png

好吧，我们把它写出来：

def cost_function(X,Y,B):
    predictions = np.dot(X,B.T)
    
    cost = (1/len(Y)) * np.sum((predictions - Y) ** 2)
    return cost

在这里，我们将输入、标签和参数作为输入，并使用线性模型进行预测，得到成本，然后返回。如果第二行让你困惑，回想一下线性回归公式：

9a23320a671b54abc0bbe8ff75988d85.png

所以，我们基本上是得到每个特征和它们相应权重之间的点积。如果你还不确定我在说什么，看看这个视频：https://www.youtube.com/watch?v=kHwlB_j7Hkc

很好，现在让我们测试一下我们的成本函数，看看它是否真的有效。为了做到这一点，我们将使用scikit learn的均方误差，得到结果，并将其与我们的算法进行比较。

mean_squared_error(np.dot(X,thetas.T),y)

OUT: 592.14691169960474

cost_function(X,y,thetas)

OUT: 592.14691169960474

太棒了，我们的成本函数起作用了！

特征缩放

特征缩放是线性模型（线性回归、KNN、SVM）的重要预处理技术。本质上，特征被缩小到更小的范围，并且特征也在一定的范围内。可以这样考虑特征缩放：

  1. 你有一座很大的建筑物

  2. 你希望保持建筑的形状，但希望将其调整为较小的比例

特征缩放通常用于以下场景：

  1. 如果一个算法使用欧几里德距离，那么由于欧几里德距离对较大的量值敏感，因此需要对特征进行缩放

  2. 特征缩放还可以用于数据标准化

  3. 特征缩放还可以提高算法的速度

虽然有许多不同的特征缩放方法，但我们将使用以下公式构建MinMaxScaler的自定义实现：

de3698f5dbf509f5c70c57d1d120b155.png

由于上述原因，我们将使用缩放。

现在，对于python实现：

X_norm = (X - X.min()) / (X.max() - X.min())
X = X_norm

这里没什么特别的，我们只是把公式翻译成代码。现在，节目真正开始了：梯度下降！

cee245c6b49b85dafd68ecc8c7f21d23.png

梯度下降

fccab4a60ef29e916285dfe1a672ba34.png

具体地说，梯度下降是一种优化算法，它通过迭代遍历数据并获得偏导数来寻求函数的最小值（在我们的例子中是MSE）。

如果这有点复杂，试着把梯度下降想象成是一个人站在山顶上，他们试着以最快的速度从山上爬下来，沿着山的负方向不断地“走”，直到到达底部。

现在，梯度下降有不同的版本，但是你会遇到最多的是：

  1. 批量梯度下降

  2. 随机梯度下降法

  3. 小批量梯度下降

现在我们将按顺序讨论、实现和分析每一项，所以让我们开始吧！

批量梯度下降

e1e48dad54e7d3cde1d7e21015ad999a.png

批量梯度下降可能是你遇到的第一种梯度下降类型。现在，我在这篇文章中并不是很理论化（你可以参考我以前的文章：https://medium.com/@vagifaliyev/gradient-descent-clearly-explained-in-python-part-1-the-troubling-theory-49a7fa2c4c06），但实际上它计算的是整个（批处理）数据集上系数的偏导数。你可能已经猜到这样做很慢了。

845fbd0b6eaaafe141e9bf67694abce1.png

我们的数据集很小，所以我们可以像这样实现批量梯度下降：

def batch_gradient_descent(X,Y,theta,alpha,iters):
    cost_history = [0] * iters  # 初始化历史损失列表
    for i in range(iters):         
        prediction = np.dot(X,theta.T)                  
        theta = theta - (alpha/len(Y)) * np.dot(prediction - Y,X)   
        cost_history[i] = cost_function(X,Y,theta)               
    return theta,cost_history

要澄清一些术语：

alpha：这是指学习率。

iters：迭代运行的数量。

太好了，现在让我们看看结果吧！

batch_theta,batch_history=batch_gradient_descent(X,y,theta,0.05,500)

好吧，不是很快，但也不是很慢。让我们用我们新的和改进的参数来可视化和成本：

cost_function(X,y,batch_theta)

OUT: 27.537447130784262

哇，从592到27！这只是一个梯度下降的力量的一瞥！让我们对迭代次数的成本函数进行可视化：

fig = px.line(batch_history,x=range(5000),y=batch_history,labels={'x':'no. of iterations','y':'cost function'})
fig.show()
d24d2dad49eea6369914eccd81142a3c.png

好的，看看这个图表，我们在大约100次迭代之后达到了一个大的下降，从那里开始，它一直在逐渐减少。

所以，批量梯度下降到此结束：

优点

  1. 有效且曲线平滑

  2. 最准确，最有可能达到全局最低值

缺点

  1. 对于大型数据集可能会很慢

  2. 计算成本高

随机梯度下降法

8a99c0a639363433a4248de030ac8dbb.png

这里，不是计算整个训练集的偏导数，而是只计算一个随机样本（随机意义上的随机）。

这是很好的，因为计算只需要在一个训练示例上进行，而不是在整个训练集上进行，这使得计算速度更快，而且对于大型数据集来说非常理想。

然而，由于其随机性，随机梯度下降并不像批量梯度下降那样具有平滑的曲线，虽然它可以返回良好的参数，但不能保证达到全局最小值。

学习率调整

解决随机梯度下降问题的一种方法是学习率调整。

基本上，这会逐渐降低学习率。因此，学习率一开始很大（这有助于避免局部极小值），当学习率接近全局最小值时，学习率逐渐降低。但是，你必须小心：

  1. 如果学习速率降低得太快，那么算法可能会陷入局部极小，或者在达到最小值的一半时停滞不前。

  2. 如果学习速率降低太慢，可能会在很长一段时间内跳转到最小值附近，仍然无法得到最佳参数

现在，我们将使用简易的学习率调整策略实现随机梯度下降：

t0,t1 = 5,50 # 学习率超参数

def learning_schedule(t):
    return t0/(t+t1)
    
def stochastic_gradient_descent(X,y,thetas,n_epochs=30):
    c_hist = [0] * n_epochs # 历史成本
    for epoch in range(n_epochs):
        for i in range(len(y)):
            random_index = np.random.randint(len(Y))
            xi = X[random_index:random_index+1]
            yi = y[random_index:random_index+1]
            
            prediction = xi.dot(thetas)
            
            gradient = 2 * xi.T.dot(prediction-yi)
            eta = learning_schedule(epoch * len(Y) + i)
            thetas = thetas - eta * gradient
            c_hist[epoch] = cost_function(xi,yi,thetas)
    return thetas,c_hist

现在运行函数：

sdg_thetas,sgd_cost_hist = stochastic_gradient_descent(X,Y,theta)

好吧，太好了，这样就行了！现在让我们看看结果：

cost_function(X,y,sdg_thetas)

OUT:
29.833230764634493

哇！我们从592到29，但是请注意：我们只进行了30次迭代。批量梯度下降，500次迭代后得到27次！这只是对随机梯度下降的非凡力量的一瞥。

让我们用一个图再次将其可视化：

1cd11ac7b97f4da0ff82c31b95857a56.png

由于这是一个小数据集，批量梯度下降就足够了，但这只是显示了随机梯度下降的力量。

优点：

  1. 与批量梯度下降相比更快

  2. 更好地处理更大的数据集

缺点：

  1. 在某个最小值上很难跳出

  2. 并不总是有一个清晰的图，可以在一个最小值附近反弹，但永远不会达到最佳的最小值

小批量梯度下降
6550f5176e037a2c3ea8f31bbb334226.png

好了，快到了，还有一个要通过！现在，在小批量梯度下降中，我们不再计算整个训练集或随机样本的偏导数，而是在整个训练集的小子集上计算。

这给了我们比批量梯度下降更快的速度，因为它不像随机梯度下降那样随机，所以我们更接近于最小值。然而，它很容易陷入局部极小值。

同样，为了解决陷入局部最小值的问题，我们将在实现中使用简易的学习率调整。

np.random.seed(42) # 所以我们得到相同的结果

t0, t1 = 200, 1000
def learning_schedule(t):
    return t0 / (t + t1)
    
def mini_batch_gradient_descent(X,y,thetas,n_iters=100,batch_size=20):
    t = 0
    c_hist = [0] * n_iters
    for epoch in range(n_iters):
        shuffled_indices = np.random.permutation(len(y))
        X_shuffled = X_scaled[shuffled_indices]
        y_shuffled = y[shuffled_indices]
        
        for i in range(0,len(Y),batch_size):
            t+=1
            xi = X_shuffled[i:i+batch_size]
            yi = y_shuffled[i:i+batch_size]
            
            gradient = 2/batch_size * xi.T.dot(xi.dot(thetas) - yi)
            eta = learning_schedule(t)
            thetas = thetas - eta * gradient
            c_hist[epoch] = cost_function(xi,yi,thetas)
    return thetas,c_hist

让我们运行并获得结果：

mini_batch_gd_thetas,mini_batch_gd_cost = mini_batch_gradient_descent(X,y,theta)

以及新参数下的成本函数：

cost_function(X,Y,mini_batch_gd_thetas)

OUT: 27.509689139167012

又一次真的很棒。我们运行了1/5的迭代，我们得到了一个更好的分数！

让我们再画出函数：

b3f3c6df4182b475406181dea65d4846.png

好了，我的梯度下降系列到此结束！感谢阅读！

 
 
好消息！ 
 
 
小白学视觉知识星球
 
 
开始面向外开放啦👇👇👇
 
 
 
 
a3dfb7c4b18989dee2ff14c03d49ec24.png
 
 
下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
 


                

        

        

        

    

  


    

      

        

            

              
                
                  小白学视觉
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Python梯度下降法

				
			

			

				

					weixin_58964057的博客
				

				

					09-29
					
					525
					
				

			

		

		

			
				
Python梯度下降法

			
		

	



                

            
              



	

		

			

				
					
03机器学习--梯度下降及python实现

				
			

			

				

					weixin_44446756的博客
				

				

					04-12
					
					3644
					
				

			

		

		

			
				
①概述

不是一个机器学习算法
	是一种基于搜索的最优化方法
	作用：最小化一个损失函数
	梯度上升法：最大化一个效用函数




思路：由上图可知，在损失函数上的某一个点，希望经过变化到达损失函数最小值点，所以对损失函数求导，导数代表函数增大的方向，为了让函数变小，所以在导数前面增加负号，又因为需要逐步靠近最低点，所以在导数前面增加了步长，逐步靠近导数为0的位置。下降的速度就是由决定

称为学习率（learning rate）
	的取值影响获得最优解的速度
	的取值不合适，甚至得不到最优解
	是梯度下降法

			
		

	



              


  
              

                


	

		

			

				
					
梯度下降python实现

				
			

			

				

					04-22
				

			

		

		

			
				
梯度下降法是机器学习任务中最常用的优化方法，这里是其python实现

			
		

	





	

		

			

				
					
随机梯度下降法python实现

				
			

			

				

					10-07
				

			

		

		

			
				
m = 100000
x = np.random.normal(size = m)
X = x.reshape(-1, 1)
y = 4.0 * x + 3.0 + np.random.normal(0 ,3, size = m)
。。。

			
		

	



		

			
		



	

		

			

				
					
【深度学习】梯度下降法

					
最新发布

				
			

			

				

					weixin_62403234的博客
				

				

					09-04
					
					1270
					
				

			

		

		

			
				
【深度学习】从·数学的j角度剖析梯度下降法

			
		

	





	

		

			

				
					
python实现梯度下降法

				
			

			

				

					m0_53653974的博客
				

				

					07-08
					
					503
					
				

			

		

		

			
				
梯度下降法(Gradient Descent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来，梯度下降法就是一种经典常用的优化算法。

			
		

	





	

		

			

				
					
【python机器学习】——梯度下降法

				
			

			

				

					m17635262186的博客
				

				

					05-04
					
					2523
					
				

			

		

		

			
				
梯度下降是一种优化算法，用于机器学习和人工智能中以最小化一个函数。在机器学习中，我们通常试图找到一组参数的值，使得某个损失函数（如成本函数）的值最小。梯度下降算法通过迭代地调整参数的值来实现这一点。

			
		

	





	

		

			

				
					
梯度下降法 和 共轭梯度下降 python实现.zip

				
			

			

				

					08-25
				

			

		

		

			
				
总之，理解并掌握梯度下降法和共轭梯度下降法是机器学习和深度学习的基础，通过Python实现有助于深入理解和应用这些优化算法。实际操作中，还可以结合其他优化策略，如动量项、自适应学习率等，进一步提升模型训练的...

			
		

	





	

		

			

				
					
机器学习——梯度下降python实现

				
			

			

				

					09-10
				

			

		

		

			
				
本文将深入探讨梯度下降的概念、工作原理以及Python实现，同时结合MNIST数据集展示其在分类问题上的应用。  一、梯度下降简介 梯度下降是一种迭代算法，用于寻找函数的局部最小值。在机器学习中，这个函数通常是损失...

			
		

	





	

		

			

				
					
python实现随机梯度下降法

				
			

			

				

					09-20
				

			

		

		

			
				
Python实现的随机梯度下降法（SGD）是一种优化算法，常用于机器学习中的参数调整。在大规模数据集上，传统的梯度下降法由于需要遍历所有数据来计算梯度，其效率低下，可能导致长时间收敛或陷入局部最优解。随机梯度...

			
		

	





	

		

			

				
					
批量梯度下降的python实现

				
			

			

				

					08-16
				

			

		

		

			
				
批量梯度下降的python实现, data.csv示例: 32.502345269453031,31.70700584656992 53.426804033275019,68.77759598163891 61.530358025636438,62.562382297945803 47.475639634786098,71.546632233567777 59....

			
		

	





	

		

			

				
					
Python中随机梯度下降法

				
			

			

				

					weixin_44754436的博客
				

				

					04-22
					
					951
					
				

			

		

		

			
				
的值，而竖轴表示算法收敛的迭代次数。可以看到，算法在不同的初始权重下都能收敛到大致相同的最优权重，这也验证了随机梯度下降算法的鲁棒性和适用性。批量梯度下降使用全部的训练样本来计算梯度，并更新模型参数，因此它的每一次迭代计算量较大，但对于凸优化问题，可以保证每次迭代都朝着全局最优解的方向前进，收敛速度较快，最终收敛到的结果也比较稳定。随机梯度下降则每次迭代仅使用一个样本来计算梯度，并更新模型参数，因此每次迭代的计算量较小，但收敛速度较慢，最终收敛结果也不够稳定，可能会陷入局部最优解。

			
		

	





	

		

			

				
					
梯度下降法【Python】

				
			

			

				

					Infinity_and_beyond的博客
				

				

					10-02
					
					804
					
				

			

		

		

			
				
的实现，对于其中部分数据不太清楚的只需打印出来看看即可。站看吴恩达老师视频，此处聚焦于。梯度下降法是线性回归模型中求。参数的一种方法，具体定义可在。

			
		

	





	

		

			

				
					
梯度下降法VS随机梯度下降法 (Python的实现)

				
			

			

				

					weixin_33735077的博客
				

				

					02-27
					
					157
					
				

			

		

		

			
				


 1 # -*- coding: cp936 -*-
 2 import numpy as np
 3 from scipy import stats
 4 import matplotlib.pyplot as plt
 5 
 6 
 7 # 构造训练数据
 8 x = np.arange(0., 10., 0.2)
 9 m = len(x)             ...

			
		

	





	

		

			

				
					
Python 梯度下降

				
			

			

				

					不知道起什么名字
				

				

					04-29
					
					635
					
				

			

		

		

			
				
为了实现监督学习，我们选择采用自变量x1、x2的线性函数来评估因变量y值，得到：







这里，sita1、sita2代表自变量x1、x2的权重（weights），sita0代表偏移量。为了方便，我们将评估值写作h(x)，令x0=1，则h(x)可以写作：







其中n为输入样本数的数量。为了得到weights的值，我们需要令我们目前的样本数据评估出的h

			
		

	





	

		

			

				
					
python深度学习--梯度下降算法（附完整代码）

				
			

			

				

					ssheudjbdndnjd的博客
				

				

					03-15
					
					6348
					
				

			

		

		

			
				
而梯度下降这个算法，也涉及到了高数上的一些知识，比如高数求导求最小化所以，我们在学习梯度下降法之前，就需要学习有关高数求导求最小化以及其他的一些基础知识知识了。

			
		

	





	

		

			

				
					
梯度下降法python实现

				
			

			

				

					长弓smile的博客
				

				

					06-06
					
					541
					
				

			

		

		

			
				
参考博客：https://blog.csdn.net/huahuazhu/article/details/73385362

参考的博客中的示例代码是直线，学习后将其改为曲线

#!/usr/bin/python
#coding=utf-8
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

# 构...

			
		

	





	

		

			

				
					
线性回归梯度下降python实现

				
			

			

				

					03-30
				

			

		

		

			
				
线性回归是一种常见的机器学习算法，用于建立一个线性模型来预测连续型的输出变量。梯度下降是一种优化算法，用于最小化模型的损失函数。下面是线性回归梯度下降的Python实现：

```python
import numpy as np

class LinearRegression:
    def __init__(self, learning_rate=0.01, num_iterations=1000):
        self.learning_rate = learning_rate
        self.num_iterations = num_iterations
        self.weights = None
        self.bias = None
    
    def fit(self, X, y):
        num_samples, num_features = X.shape
        self.weights = np.zeros(num_features)
        self.bias = 0
        
        for _ in range(self.num_iterations):
            # 计算预测值
            y_pred = np.dot(X, self.weights) + self.bias
            
            # 计算梯度
            dw = (1/num_samples) * np.dot(X.T, (y_pred - y))
            db = (1/num_samples) * np.sum(y_pred - y)
            
            # 更新参数
            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db
    
    def predict(self, X):
        return np.dot(X, self.weights) + self.bias
```

使用示例：

```python
# 创建线性回归对象
regressor = LinearRegression(learning_rate=0.01, num_iterations=1000)

# 准备训练数据
X_train = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
y_train = np.array([6, 15, 24])

# 训练模型
regressor.fit(X_train, y_train)

# 准备测试数据
X_test = np.array([[2, 3, 4], [5, 6, 7]])

# 预测结果
y_pred = regressor.predict(X_test)
print(y_pred)
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值