最速下降法python_算法最优化之最速下降法

适应范围：无约束非线性规划问题

例子：

初始化

,

第一次迭代：

从

出发，沿方向

进行一维搜索，求步长

,即

在直线的极小点

第二次迭代：

从

出发，沿方向

进行一维搜索，求步长

即

解得：

第三次迭代：

最终结果展示：使用python实现结果

实现代码展示：

import random

import numpy as np

import matplotlib.pyplot as plt

"""

最速下降法

Rosenbrock函数

函数 f(x) = 2*x(1)^2+x(2)^2

梯度 g(x)=(4*x(1)),2*x(2))^(T)

"""

def goldsteinsearch(f,df,d,x,alpham,rho,t):

'''

线性搜索子函数

数f，导数df，当前迭代点x和当前搜索方向d

'''

flag = 0

a = 0

b = alpham

fk = f(x)

gk = df(x)

phi0 = fk

dphi0 = np.dot(gk, d)

# print(dphi0)

alpha=b*random.uniform(0,1)

while(flag==0):

newfk = f(x + alpha * d)

phi = newfk

# print(phi,phi0,rho,alpha ,dphi0)

if (phi - phi0 )<= (rho * alpha * dphi0):

if (phi - phi0) >= ((1 - rho) * alpha * dphi0):

flag = 1

else:

a = alpha

b = b

if (b < alpham):

alpha = (a + b) / 2

else:

alpha = t * alpha

else:

a = a

b = alpha

alpha = (a + b) / 2

return alpha

def rosenbrock(x):

# 函数:f(x) = 2*x(1)^2+x(2)^2

return 2*x[0]**2+x[1]**2

def jacobian(x):

# 梯度 g(x)=(4*x(1)),2*x(2))^(T)

return np.array([4*x[0],2*x[1]])

def steepest(x0):

print('初始点为:')

print(x0,'\n')

imax = 20000

W = np.zeros((2, imax))

epo=np.zeros((2, imax))

W[:, 0] = x0

i = 1

x = x0

grad = jacobian(x)

delta = sum(grad ** 2) # 初始误差

f=open("最速.txt",'w')

while i < imax and delta > 10 ** (-5):

p = -jacobian(x)

x0 = x

alpha = goldsteinsearch(rosenbrock, jacobian, p, x, 1, 0.1, 2)

x = x + alpha * p

W[:, i] = x

epo[:,i] =np.array((i,delta))

f.write(str(i)+" "+str(delta)+"\n")#

print(i,np.array((i,delta)))

grad = jacobian(x)

delta = sum(grad ** 2)

i = i + 1

print("迭代次数为:", i)

print("近似最优解为:")

print(x, '\n')

W = W[:, 0:i] # 记录迭代点

return [W,epo]

if __name__=="__main__":

X1 = np.arange(-1.5, 1.5 + 0.05, 0.05)

X2 = np.arange(-3.5, 4 + 0.05, 0.05)

[x1, x2] = np.meshgrid(X1, X2)

f = 2*x1**2+x2**2

plt.contour(x1, x2, f, 20) # 画出函数的20条轮廓线

x0 = np.array([1, 1])

list_out = steepest(x0)

W=list_out[0]

epo=list_out[1]

plt.plot(W[0, :], W[1, :], 'g*-') # 画出迭代点收敛的轨迹

plt.show()

参考文献：最速下降法(梯度下降法)python实现_码神岛​msd.misuland.com