笔记 | 机器学习-梯度下降

代码模拟梯度下降

import matplotlib.pyplot as plt
import numpy as np

构建函数和导函数

构建方程
$ f(x) = (x - 3.5)^2 - 4.5x + 10 $

# 求导数
# yo 为导数
# y = c (c为常量) | yo = 0
# y = x ** n | y0 = (n * x) ** (n-1)

# 构建方程
f = lambda x: (x - 3.5) ** 2 - 4.5 * x + 40
# 导函数-根据上面公式
# 任何一个非零数的零次方为1
# (x - 3.5) ** 2 求导 2 * (x - 3.5) ** (2 - 1)
# 4.5 * x 求导 1 * (4.5 * x) ** (1 - 1)
# 最后 常数省略 一次方的x也省略
g = lambda x: 2 * (x - 3.5) - 4.5

函数的可视化

x = np.linspace(0, 11.5, 100)
y = f(x)

plt.plot(x,y)

[<matplotlib.lines.Line2D at 0x20a5199ed90>]

求这个方程的最小值

# 求导函数, 令导函数为0, 就是最小值
# 2 * (x - 3.5) - 4.5
# 2 * x - (2 * 3.5) - 4.5
# 2 * x - 7 - 4.5
# 2 * x - 11,5
# 2 * x = 11.5
# x = 11.5 / 2
# x = 5.75

plt.plot(x,y)  # 二维线图
xMin = 5.75
plt.scatter(xMin, f(xMin), color='red', s=30)  # 散点图 | color 点颜色 s 点大小

<matplotlib.collections.PathCollection at 0x20a51cf3550>

不能令方程的导函数为0进行求解 (方程)-梯度下降

eta = 0.1 # 学习率 | 调整越大 循环数会越少 但可能跳出可控范围

# 梯度下降
# 随机赋值
ox = np.random.randint(0, 12, size=1)[0] # 随机的初始值 | old
# 当 ox 与 nx 没有太大差距就可以停下
nx = ox + eta # 一开始就具有差异

# 精确度
pre = 0.0001

# print('初始 ox=%s nx=%s' % (ox, nx))
oxs = [ox] # 进行记录每次梯度下降随即值
oxc = 0 # 进行累计循环次数 可以不加 使用列表进行统计
while True:
    oxc += 1
    if np.abs(ox - nx) < pre: # 更新时 变化甚微 可以终止
        break

    # 根据梯度下降更新
    nx = ox
    ox -= eta * g(ox) # 这个当前值
    oxs.append(ox) # 进行追加

    # print('更新 ox=%s nx=%s' % (ox, nx))

print('执行梯度下降 %d 次, 最后结果是 %s' % (len(oxs), ox), oxc)

执行梯度下降 40 次, 最后结果是 5.750373845373813 40

print(np)
x0 = np.linspace(0, 11.5, 100)
y0 = f(x0)
plt.figure(figsize=(12,9))
plt.plot(x0,y0)  # 二维线图
# 画图前需要将 oxs 转为 np数据
oxs = np.array(oxs)
plt.scatter(oxs, f(oxs), color='red', s=30)

<module 'numpy' from 'D:\\soft\\Anaconda3\\lib\\site-packages\\numpy\\__init__.py'>





<matplotlib.collections.PathCollection at 0x20a52d38160>






![在这里插入图片描述](https://img-blog.csdnimg.cn/e55162f803774913b0797ff3d1d4b92f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAQ1kzNzYx,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)