24/8/4算法笔记 梯度下降

通过迭代地调整参数，沿着目标函数梯度的反方向（即最陡峭的下降方向）进行搜索，从而找到函数的局部最小值。

导入库

import matplotlib.pyplot as plt
import numpy as np

构建方程和导数

#构建方程
f = lambda  x:(x-3.5)**2-4.5*x+10
#导数
g = lambda x:2*(x-3.5)-4.5

x=np.linspace(0,11.5,100)
y=f(x)

可视化

plt.plot(x,y)

求方程最小值

#如果有方程，求导函数，令导函数为0最方便，一种方法

#如果没有方程，梯度下降

eta = 0.1#学习率

#梯度下降
x=np.random.randint(0,12,size = 1)[0]

#每次while循环，记录上一次值，为了比较
#0.1：0.2：1为了有差异
last_x = x + 0.1

#精确度
precision=0.0001

print('---------随机x是:',x)

#每次梯度下降，求解出的x值，一开始随机给
x_ = [x]#python中的列表
count=0

while True:
    if np.abs(x-last_x)<precision:#更新时，变化甚微
        break;
    #更新梯度下降
    #x时当前值，赋值给上一个值
    last_x = x
    count +=1
    x = x-eta*g(x)
    x_.append(x)
   # print('更新之后的值',x)
    print('********梯度下降次数',count)
    
    #x1是numpy数组
x1=np.linspace(0,11.5,100)
y1=f(x1)
plt.plot(x1,y1)
    
x_=np.array(x_)
    #散点图
plt.scatter(x_,f(x_),color = 'red',s=30)