python实现powell优化算法

参考文章

参考文章点击访问

示例

用powell方法求函数
$f(x_1,x_2)=10(x_1+x_2-5{)}^2+(x_1-x_2{)}^2$的极小值

代码

import numpy as np
from sympy import symbols,diff,solve

def func(x1,x2):
    """
    定义函数\n
    x1: 参数1\n
    x2: 参数2\n
    """
    return (10*(x1+x2-5)**2)+(x1-x2)**2



"""全局变量"""
# 定义误差
EPSILON = 1e-2
# 定义最大迭代次数
MAXCOUNT = 40


if __name__ == '__main__':
    # 参数初始化
    X0 = np.array([0,0]) # x1=0,x2=0
    # 定义初始2个搜索方向
    d1 = np.array([1,0])
    d2 = np.array([0,1])
    for i in range(1,MAXCOUNT+1):
        # 第i轮搜索
        # ①沿d1方向更新当前参数
        lamda_f1 = symbols("lamda_1")
        X1 = X0 + lamda_f1 * d1 # 更新参数的表达式
        # 计算f(x)
        x1 = X1[0]
        x2 = X1[1]
        f1 = func(x1,x2)
        # 求导
        dif1 = diff(f1,lamda_f1)
        lamda_1 = solve(dif1,lamda_f1)[0]
        # ->X1
        X1 = X0 + lamda_1 * d1
        
        # ②沿d2方向更新当前参数
        lamda_f2 = symbols("lamda_2")
        X2 = X1 + lamda_f2 * d2 # 更新参数的表达式
        # 计算f(x)
        x1 = X2[0]
        x2 = X2[1]
        f2 = func(x1,x2)
        # 求导
        dif2 = diff(f2,lamda_f2)
        lamda_2 = solve(dif2,lamda_f2)[0]
        # ->X2
        X2 = X1 + lamda_2 * d2
        
        # 2次迭代生成的方向
        d3 = X2 - X0
        # ③沿d3方向更新当前参数
        lamda_f3 = symbols("lamda_3")
        X3 = X2 + lamda_f3 * d3 # 更新参数的表达式
        # 计算f(x)
        x1 = X3[0]
        x2 = X3[1]
        f3 = func(x1,x2)
        # 求导
        dif3 = diff(f3,lamda_f3)
        lamda_3 = solve(dif3,lamda_f3)[0]
        # ->X3
        X3 = X2 + lamda_3 * d3
        
        # 将参数代入目标函数计算结果
        loss = func(X3[0],X3[1])
        print(f'迭代第{i}次, loss = {loss}',end=", ")
        if loss>=EPSILON:
            print("继续迭代")
            # 下一轮迭代的2个初始方向为前面最近的2个方向
            d1 = d2
            d2 = d3
            # 同时更新初始参数为当前参数
            X0 = X3

        else:
            print('结束迭代')
            print(f'x1={X3[0]}, x2={X3[1]}')
            break