牛顿法与梯度下降法求解实际问题对比

最新推荐文章于 2022-12-26 10:30:00 发布

づ如影随行とじ

最新推荐文章于 2022-12-26 10:30:00 发布

阅读量610

点赞数

本文链接：https://blog.csdn.net/weixin_45306136/article/details/105334803

版权

本文介绍了梯度下降法和牛顿法的基本原理及其在解决实际问题中的应用，特别是在求解多元函数极值和线性回归方程上的应用。通过Python编程在Jupyter Notebook环境中实现，详细展示了两种方法的步骤和对比结果。

摘要由CSDN通过智能技术生成

基于jupyter notebook的Python编程

– 牛顿法及梯度下降法原理和实际问题的解决

一、梯度下降法

1、梯度下降法基本原理

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alRTLrwp-1586095718974)(./梯度下降法.png)]

二、利用梯度下降法求解多元函数及线性分析

1、利用梯度下降法求解多元函数极值

1).导入函数依赖库

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
import math
from mpl_toolkits.mplot3d import Axes3D
import warnings

2).解决中文输出的问题

# 解决中文显示问题
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

3).写出二维原始函数和偏函数

# 二维原始图像
def f2(x, y):
    return x**2+2*(y)**2 - 4*(x)-2*(x)*(y)  
## 偏函数
def hx1(x, y):
    return 2*x-4-2*y
def hx2(x, y):
    return 4*y-2*x

X1 = np.arange(-4,4,0.2)
X2 = np.arange(-4,4,0.2)

X1, X2 = np.meshgrid(X1, X2) # 生成xv、yv，将X1、X2变成n*m的矩阵，方便后面绘图
Y = np.array(list(map(lambda t : f2(t[0],t[1]),zip(X1.flatten(),X2.flatten()))))
Y.shape = X1.shape # 1600的Y图还原成原来的（40,40）


x1 = 1
x2 = 1
alpha = 0.1
#保存梯度下降经过的点
GD_X1 = [x1]
GD_X2 = [x2]
GD_Y = [f2(x1,x2)]
# 定义y的变化量和迭代次数
y_change = f2(x1,x2)
iter_num = 0

4).通过循环，计算出最终的结果和迭代次数

while(y_change < 1e-10 and iter_num < 100) :
    tmp_x1 = x1 - alpha * hx1(x1,x2)
    tmp_x2 = x2 - alpha * hx2(x1,x2)
    tmp_y = f2(tmp_x1,tmp_x2)
 
    f_change = np.absolute(tmp_y - f2(x1,x2))
    x1 = tmp_x1
    x2 = tmp_x2
    GD_X1.append(x1)
    GD_X2.append(x2)
    GD_Y.append(tmp_y)
    iter_num += 1
print(u"最终结果为:(%.5f, %.5f, %.5f)" % (