机器学习 -- 梯度下降法（Ⅲ 绘制梯度下降过程和梯度下降函数的实现）

最新推荐文章于 2022-08-17 20:30:23 发布

m0_38056893

最新推荐文章于 2022-08-17 20:30:23 发布

阅读量1.1k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/m0_38056893/article/details/103006183

版权

本文详细介绍了如何使用matplotlib绘制梯度下降的过程，并实现了梯度下降的函数，包括参数初始化、更新规则及精度控制。通过实例展示了不同学习率对迭代次数和路径的影响。

摘要由CSDN通过智能技术生成

一. 梯度下降过程绘制

上节仅仅给出计算梯度下降的过程，本次则通过matplotlib绘制梯度下降的过程。

（1）初始化参数θ值。

（2）设置一个保存所有θ值的数组theta_history，每取一个新的θ值则将其保存。

（3）循环更新θ值和损失函数J(θ)的值，直到满足精度要求。

（4）以红色的"*"作为标记标记出学习的过程。

theta = 0.0
theta_history = [theta]
while True:
    gradient = dJ(theta)
    last_theta = theta
    theta = theta - eta * gradient  # 往负方向移动一步
    theta_history.append(theta)
    
    if (abs(J(theta) - J(last_theta)) < epsilon):
        break
        
plt.plot(plot_x, J(plot_x))
plt.plot(np.array(theta_history), J(np.array(theta_history)), color='r', marker='*')
plt.show()

运行结果：