最速下降法解无约束极值问题Python程序实现

本文展示了利用梯度法（最速下降法）求解无约束极值问题的python代码，实现过程，以清华大学第三版《运筹学》习题7.6为例，进行展示

本文利用最佳步长公式进行计算迭代，公式如下，代码中将步长设为α，而非λ

代码如下： 

import numpy as np
import matplotlib.pyplot as plt

# 最速下降法的实现
def steepest_descent(f, grad_f, x0, alpha=0.1, epsilon=1e-5, max_iter=3):
    x = x0
    H=np.array([[2,0,0],[0,2,0],[0,0,2]])
    trajectory = [x0]  # 记录迭代过程中的点
    grad_list=[grad_f(x0)]#记录迭代过程中的梯度向量

    for i in range(max_iter):
        gradient = grad_f(x)
        if np.linalg.norm(gradient) < epsilon:
            break

        # 计算梯度与H矩阵的乘积再与梯度的转置的点积，这将是一个标量
        alpha_denominator = gradient.T @ H @ gradient

        # 计算梯度的平方和，这也是一个标量，但首先确保从(1,1)矩阵中提取它
        alpha_numerator = np.dot(gradient, gradient)  # 或者使用 [0, 0] 索引

        # 计算alpha
        alpha = alpha_numerator / alpha_denominator
        x = x - alpha * gradient
        trajectory.append(x)
        grad_list.append(gradient)

    return x, trajectory,grad_list

# 示例函数和其梯度
def f(x):
    return x[0]**2 + x[1]**2 + x[2]**2

def grad_f(x):
    return np.array([2*x[0], 2*x[1], 2*x[2]])


# 初始点
x0 = np.array([2.0, -2.0,1.0])

# 执行最速下降法
solution, trajectory, grad_list = steepest_descent(f, grad_f, x0)
trajectory = np.array(trajectory)
print(solution)
print(trajectory)
print(grad_list)

运行结果如下：

 

如有不足，请批评指正，稍后更新R语言代码！