梯度下降python代码简单实现

最新推荐文章于 2024-07-08 11:43:01 发布
最新推荐文章于 2024-07-08 11:43:01 发布
阅读量721 收藏 8
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43904309/article/details/96780512
版权

借鉴文章

梯度下降的场景假设

梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。
在这里插入图片描述
我们同时可以假设这座山最陡峭的地方是无法通过肉眼立马观察出来的，而是需要一个复杂的工具来测量，同时，这个人此时正好拥有测量出最陡峭方向的能力。所以，此人每走一段距离，都需要一段时间来测量所在位置最陡峭的方向，这是比较耗时的。那么为了在太阳下山之前到达山底，就要尽可能的减少测量方向的次数。这是一个两难的选择，如果测量的频繁，可以保证下山的方向是绝对正确的，但又非常耗时，如果测量的过少，又有偏离轨道的风险。所以需要找到一个合适的测量方向的频率，来确保下山的方向不错误，同时又不至于耗时太多！

梯度下降

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)
所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？接下来，我们从微分开始讲起
梯度下降
梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)
所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？接下来，我们从微分开始讲起

微分

看待微分的意义，可以有不同的角度，最常用的两种是：

  • 函数图像中，某点的切线的斜率
  • 函数的变化率
    几个微分的例子：
    在这里插入图片描述
    上面的例子都是单变量的微分，当一个函数有多个变量的时候，就有了多变量的微分，即分别对每个变量进行求微分
    在这里插入图片描述

梯度

梯度实际上就是多变量微分的一般化。
下面这个例子：
在这里插入图片描述
我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量。

梯度是微积分中一个很重要的概念，之前提到过梯度的意义

  • 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率

  • 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！
在这里插入图片描述

梯度下降算法的数学解释

上面我们花了大量的篇幅介绍梯度下降算法的基本思想和场景假设，以及梯度的概念和思想。下面我们就开始从数学上解释梯度下降算法的计算过程和思想！
在这里插入图片描述
此公式的意义是：J是关于Θ的一个函数，我们当前所处的位置为Θ0点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了Θ1这个点！
在这里插入图片描述
下面就这个公式的几个常见的疑问：

  • α是什么含义？
    α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要步子跨的太大扯着蛋，哈哈，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！
    在这里插入图片描述
  • 为什么要梯度要乘以一个负号？
    梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号

梯度下降算法的实例

我们已经基本了解了梯度下降算法的计算过程，那么我们就来看几个梯度下降算法的小实例，首先从单变量的函数开始

单变量函数的梯度下降

我们假设有一个单变量的函数
在这里插入图片描述
函数的微分
在这里插入图片描述
初始化，起点为
在这里插入图片描述
学习率为
在这里插入图片描述
根据梯度下降的计算公式
在这里插入图片描述
我们开始进行梯度下降的迭代计算过程：
在这里插入图片描述
如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底
在这里插入图片描述

多变量函数的梯度下降

我们假设有一个目标函数在这里插入图片描述
现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值！
我们假设初始的起点为：
在这里插入图片描述
初始的学习率为：
在这里插入图片描述
函数的梯度为：
在这里插入图片描述
进行多次迭代：
在这里插入图片描述
我们发现，已经基本靠近函数的最小值点
在这里插入图片描述

梯度下降的三种形式BGD、SGD、以及MBGD

三种算法中文名分别为

  • 批量梯度下降（Batch gradient descent）

    • 批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新
      • 优点：全局最优解；易于并行实现；
      • 缺点：当样本数目很多时，训练过程会很慢。

  • 随机梯度下降（Stochastic gradient descent）

    • 随机梯度下降是通过每个样本来迭代更新一次， 如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。
      • 优点：训练速度快；
      • 缺点：准确度下降，并不是全局最优；不易于并行实现。

  • 小批量梯度下降（Mini-batch gradient descent）

    • 有上述的两种梯度下降法可以看出，其各自均有优缺点，那么能不能在两种方法的性能之间取得一个折衷呢？即，算法的训练过程比较快，而且也要保证最终参数训练的准确率，而这正是小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD）的初衷。MBGD在每次更新参数时使用b个样本（b一般为10）

不过都叫梯度下降算法，可见他们的核心是没有变的，变化的只是取训练集的方式，而梯度下降最核心的就是对函数求偏导，这个是在高等数学里有的。
在这里插入图片描述

房屋面积与价格

python代

import matplotlib.pyplot as plt
import random
import matplotlib
#数据调递增的一次函数
x = [150,200,250,300,350,400,600]
y = [6450,7450,8450,9450,11450,15450,18450]
#步长
alpha = 0.00001
#计算样本个数
m = len(x)
#初始化参数的值，拟合函数为 y=theta0+theta1*x
ptheta0 = 0
ptheta1 = 0
stheta1=0
stheta0=0
#误差
error0=0
error1=0
#退出迭代的两次误差差值的阈值
epsilon=0.000001
def p(x):
    return ptheta1*x+ptheta0
def s(x):
    return stheta1*x+stheta0
#开始迭代批量梯度
presult0 = []
presult1 = []
while True:
    diff = [0, 0]
    # 梯度下降
    for i in range(m):
        diff[0] += p(x[i]) - y[i]  # 对theta0求导
        diff[1] += (p(x[i]) - y[i]) * x[i]  # 对theta1求导
    ptheta0 = ptheta0 - alpha / m * diff[0]
    ptheta1 = ptheta1 - alpha / m * diff[1]
    presult0.append(ptheta0)
    presult1.append(ptheta1)
    error1 = 0
    # 计算两次迭代的误差的差值，小于阈值则退出迭代，输出拟合结果
    for i in range(len(x)):
        error1 += (y[i] - (ptheta0 + ptheta1 * x[i])) ** 2 / 2
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1

#开始迭代随机梯度
sresult0 = []
sresult1 = []
for j in range(5000):
    diff = [0, 0]
    # 梯度下降
    i = random.randint(0, m - 1)
    diff[0] += s(x[i]) - y[i]  # 对theta0求导
    diff[1] += (s(x[i]) - y[i]) * x[i]  # 对theta1求导
    stheta0 = stheta0 - alpha / m * diff[0]
    stheta1 = stheta1 - alpha / m * diff[1]
    sresult0.append(stheta0)
    sresult1.append(stheta1)
    error1 = 0
    # 计算两次迭代的误差的差值，小于阈值则退出迭代，输出拟合结果
    for k in range(len(x)):
        error1 += (y[i] - (stheta0 + stheta1 * x[i])) ** 2 / 2
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1
#结果
print(ptheta1,ptheta0)
print(stheta1,stheta0)
#画图
a=len(presult0)
C=len(presult1)
b=range(a)
c=range(C)
plt.plot(b,presult0)
plt.xlabel("Runs")
plt.ylabel("theta0")
plt.show()
plt.plot(c,presult1)
plt.xlabel("Runs")
plt.ylabel("theta1")
plt.show()
a1=len(sresult0)
C1=len(sresult1)
b1=range(a1)
c1=range(C1)
plt.plot(b1,sresult0)
plt.xlabel("Runs")
plt.ylabel("theta0")
plt.show()
plt.plot(c1,sresult1)
plt.xlabel("运行次数")
plt.ylabel("theta1")
plt.show()
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
plt.plot(x,[p(x) for x in x],label='批量梯度')
plt.plot(x,[s(x) for x in x],label='随机梯度')
plt.plot(x,y,'bo',label='数据')
plt.legend()
plt.show()

###批量梯度
theta1=28.778604659732547
theta0=1771.0428917695647
###theta0和theta1随运行次数的变化
在这里插入图片描述
在这里插入图片描述

随机梯度

theta1=32.79757157029413
theta0=2.1026714437678806

theta0和theta1随运行次数的变化

在这里插入图片描述
在这里插入图片描述

结果图

在这里插入图片描述

工资与阅历

import matplotlib.pyplot as plt
import random
import matplotlib
#数据调递增的一次函数
x=[1.1,1.3,1.5,2,2.2,2.9,3,3.2,3.2,3.7,3.9,4,4,4.1,4.5,4.9,5.1,5.3,5.9,6,6.8,7.1,7.9,8.2,8.7,9,9.5,9.6,10.3,10.5]
y=[39343,46205,37731,43525,39891,56642,60150,54445,64445,57189,63218,55794,56957,57081,61111,67938,66029,83088,81363,93940,91738,98273,101302,113812,109431,105582,116969,112635,122391,121872]
#步长
alpha = 0.00001
#计算样本个数
m = len(x)
#初始化参数的值，拟合函数为 y=theta0+theta1*x
ptheta0 = 0
ptheta1 = 0
stheta1=0
stheta0=0
#误差
error0=0
error1=0
#退出迭代的两次误差差值的阈值
epsilon=0.000001
def p(x):
    return ptheta1*x+ptheta0
def s(x):
    return stheta1*x+stheta0
#开始迭代批量梯度
presult0 = []
presult1 = []
while True:
    diff = [0, 0]
    # 梯度下降
    for i in range(m):
        diff[0] += p(x[i]) - y[i]  # 对theta0求导
        diff[1] += (p(x[i]) - y[i]) * x[i]  # 对theta1求导
    ptheta0 = ptheta0 - alpha / m * diff[0]
    ptheta1 = ptheta1 - alpha / m * diff[1]
    presult0.append(ptheta0)
    presult1.append(ptheta1)
    error1 = 0
    # 计算两次迭代的误差的差值，小于阈值则退出迭代，输出拟合结果
    for i in range(len(x)):
        error1 += (y[i] - (ptheta0 + ptheta1 * x[i])) ** 2 / 2
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1

#开始迭代随机梯度
sresult0 = []
sresult1 = []
for i in range(1000000):
    diff = [0, 0]
    # 梯度下降
    i = random.randint(0, m-1)
    diff[0] += s(x[i]) - y[i]  # 对theta0求导
    diff[1] += (s(x[i]) - y[i]) * x[i]  # 对theta1求导
    stheta0 = stheta0 - alpha / m * diff[0]
    stheta1 = stheta1 - alpha / m * diff[1]
    sresult0.append(stheta0)
    sresult1.append(stheta1)
    error1 = 0
    # 计算两次迭代的误差的差值，小于阈值则退出迭代，输出拟合结果
    for i in range(len(x)):
        error1 += (y[i] - (stheta0 + stheta1 * x[i])) ** 2 / 2
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1
print(ptheta1,ptheta0)
print(stheta1,stheta0)
a=len(presult0)
C=len(presult1)
b=range(a)
c=range(C)
plt.plot(b,presult0)
plt.xlabel("Runs")
plt.ylabel("theta0")
plt.show()
plt.plot(c,presult1)
plt.xlabel("Runs")
plt.ylabel("theta1")
plt.show()
a1=len(sresult0)
C1=len(sresult1)
b1=range(a1)
c1=range(C1)
plt.plot(b1,sresult0)
plt.xlabel("Runs")
plt.ylabel("theta0")
plt.show()
plt.plot(c1,sresult1)
plt.xlabel("Runs")
plt.ylabel("theta1")
plt.show()
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
plt.plot(x,[p(x) for x in x],label='批量梯度')
plt.plot(x,[s(x) for x in x],label='随机梯度')
plt.plot(x,y,'bo',label='数据')
plt.legend()
plt.show()

批量梯度

theta1=9450.01658025328
theta0=25791.834563028777

theta0和theta1随运行次数的变化

在这里插入图片描述
在这里插入图片描述

随机梯度

theta1=12752.3407772289
theta0=3549.5689256100904

theta0和theta1随运行次数的变化

在这里插入图片描述
在这里插入图片描述

结果图

在这里插入图片描述

啦啦啦ll
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
批量梯度下降的python实现
08-16
批量梯度下降的python实现, data.csv示例: 32.502345269453031,31.70700584656992 53.426804033275019,68.77759598163891 61.530358025636438,62.562382297945803 47.475639634786098,71.546632233567777 59....
python实现梯度下降和逻辑回归
09-17
本文将深入探讨这两种方法，并通过Python代码具体实现。 #### 一、梯度下降法 梯度下降是一种用于求解最小化问题的迭代优化算法，在机器学习和深度学习中常用于参数优化。其核心思想是沿着函数梯度的负方向迭代...
只用纯python实现一次函数的梯度下降
mumuemhaha的博客
05-19 100
或者可以安装教程来应用其他的库来求偏导（但是这与标题不符去掉了）可以稍微改一改求二次类推，前提知道损失函数的导数。或者可以用导数的定义来求。
梯度下降法
qq_43256584的博客
08-05 65
梯度下降（在一个函数中找到一个值x，使得函数y的倒数倒数等于0，(找到一个x，原函数y有极大值和极小值，这里取的是极小值)） 随机生成一个函数 f(x)=(x−2.5)2−1 f(x) = (x-2.5)^2-1f(x)=(x−2.5)2−1 第一步，求导 f(x)′=2∗(x−2.5) f(x)\prime = 2*(x-2.5)f(x)′=2∗(x−2.5)代码如下 def dJ(theta): return 2 * (theta - 2.5) 原函数也用代码写出来 def J(theta
python实现梯度下降法
m0_53653974的博客
07-08 143
梯度下降法(Gradient Descent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来，梯度下降法就是一种经典常用的优化算法。
深度学习02—梯度下降算法(预测，含代码)
m0_55196097的博客
06-16 2388
为元素的列表，其中第 i 个元组包含每个参数序列的第 i 个元素。返回的列表长度被截断为最短的参数序列的长度。只有一个序列参数时，它返回一个1元组的列表。3、本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。cost是计算所有训练数据的损失，loss是计算一个训练函数的损失。分析：此处代码的不同点在于第一个模型y=w*x只需要更新参数w，而模型y=w*x+b需要更新权重w和偏置b;2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。
梯度下降算法（Gradient Descent)的原理和实现步骤
热门推荐
GlassySky的博客
10-24 1万+
梯度下降的目的 绝大多数的机器学习模型都会有一个损失函数。比如常见的均方误差（Mean Squared Error)损失函数： 损失函数用来衡量机器学习模型的精确度。一般来说，损失函数的值越小，模型的精确度就越高。如果要提高机器学习模型的精确度，就需要尽可能降低损失函数的值。而降低损失函数的值，我们一般采用梯度下降这个方法。所以，梯度下降的目的，就是为了最小化损失函数。 ...
预测房价（Python）
weixin_62397632的博客
10-16 5703
无
基于python实现梯度下降法（GD）在线性回归中的应用（Boston房价预测数据集）
qq_33548059的博客
04-22 1517
【环境准备】 用到的包主要有两个：numpy和sklearn，都是机器学习常用的库。 【数据集介绍】 波士顿房价数据集（Boston House Price Dataset） 使用sklearn.datasets.load_boston即可加载相关数据。该数据集是一个回归问题。每个类的观察值数量是均等的，共有 506 个观察，13 个输入变量和1个输出变量。 在这里我将数据集视作线性关系，即 所以项目的目标就是求出该数据集十三个参数的适配系数。 【方法介绍】 假如我们要优化一..
python实现随机梯度下降法
09-20
**四、Python代码实现** 下面的代码展示了如何在Python中实现随机梯度下降法。首先，我们创建一个拟合函数的数据集，然后定义SGD函数。在SGD函数中，初始化权重，设置学习率和最大迭代次数。在循环中，每次迭代都...
算法：梯度下降法求最优解，python源码
02-19
简单解释：比如拿温度传感器来说，就是根据之前一段时间的温度数据计算下当前理论上应该测量到的温度，如果超出这个最优解的一定比例，就可以理解为突发状况了
python实现梯度下降算法的实例详解
09-16
本文将详细讲解如何使用Python实现梯度下降算法，并通过一个实例进行说明。 首先，我们选用Python 2.7版本，因为Python 3在处理3D图形时可能出现问题。梯度下降算法通常应用于线性回归模型，如这里所使用的模型：\...
python实现梯度下降
Ve2dle的博客
09-26 371
python实现梯度下降
Python 机器学习入门之梯度下降法
weixin_43575792的博客
10-06 263
上一篇文章里面说到了用梯度下降法来对最小化代价函数和模型参数进行求解，那究竟是为什么呢？梯度下降法（Gradient descent）是一个一阶最优化算法，是迭代法的一种，用于求解最小二乘问题这上面的说法更像是阐述了梯度下降法的性质和作用，博主偏私人的理解是该算法是指在求解最小化代价函数和模型参数的过程中沿着梯度下降的方向来一步步迭代求解的算法，听起来好像还是有点问题，什么是梯度？
线性回归模型：梯度下降（机器学习）（python）
cornki的博客
07-30 1735
梯度下降是一种优化算法，用于最小化一个损失函数。它通过沿着损失函数的负梯度方向迭代来更新模型参数，从而使损失函数不断减小。
python 梯度下降法实现一元线性回归
做减求空
04-18 1856
一、简单过一下算法流程 ''' 梯度下降法实现一元线性回归 一元线性函数： y = ax + b 实际数据服从： y = x + 2 初始模型： y = 0.1*x + 0.1 ''' import numpy as np #1 构造训练数据 y = x + 2 x = np.array([0.,1.,2.,3.,4.,5.,6.,7.,8.,9.]) yy = x + 2 pri...
梯度下降算法(python)
Batac的博客
02-01 250
# 梯度下降算法 x_data = [1.0, 2.0, 3.0] y_data = [1.5, 3.0, 4.5] #参数 w = 1.0 # 学习率 lr = 0.01 def forward(x): '''预测值''' return x*w def cost(xs, ys): '''计算损失和''' cost = 0 for x, y in zip(xs, ys): y_pred = forward(x) cost +..
Python梯度下降法
weixin_58964057的博客
09-29 495
Python梯度下降法
小批量梯度下降法python代码实现
最新发布
07-28
以下是Python中使用`scikit-learn`库实现小批量梯度下降的一个简单示例： ```python import numpy as np from sklearn.base import BaseEstimator class StochasticGD(BaseEstimator): def __init__(self, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值