经典凸优化算法(牛顿法，BFGS)的python实现

最新推荐文章于 2023-09-18 18:51:11 发布

NP_hard

最新推荐文章于 2023-09-18 18:51:11 发布

阅读量4.1k

点赞数 6

分类专栏： Mathematical modeling Random Process | Optimization 文章标签： python 算法机器学习

本文链接：https://blog.csdn.net/NP_hard/article/details/120357992

版权

本文整理了牛顿法和BFGS两种经典凸优化算法的Python实现，适用于数模比赛的准备。算法原理不在此赘述，主要展示代码及其测试结果。牛顿法中，函数f(x) = x1^2 + x2^2 + 3*x1 + 4*x2 - 26；BFGS中，函数f(x) = 5*x1^2 + 2*x2^2 + 3*x1 - 10*x2 + 4。

摘要由CSDN通过智能技术生成

文章目录

- 牛顿法
- - 代码
  - 结果
- BFGS
- - 代码
  - 结果

就如文章标题所示，只是简单的代码整理，用于数模比赛的准备（虽然并没有用上）
算法的数学原理请查阅前人blog

牛顿法

代码

这里我演示的函数为
$f(x)=x_1^2+x_2^2+3*x_1+4*x_2-26$

"""
Newton法
Rosenbrock函数
函数 f(x)
梯度 g(x)
hessen 矩阵
"""
# 一阶导
def jacobian(x):
    return np.array([2*x[0]+3,2*x[1]+4])

# 二阶导
def hessian(x):
    return np.array([[2,0],[0,2]])

def newton(x0):

    print('初始点为:',x0)
    W=np.zeros((2,10**3))
    i = 1
    imax = 1000
    W[:,0] = x0 
    x = x0
    delta = 1

    while i<imax and delta>0.1:
        p = -np.dot(np.linalg.inv(hessian(x)),jacobian(x))
        print('jacobian: ',jacobian(x))
        print('hessian: ',hessian(x))
        x0 = x
        x = x + p
        W[:,i] = x
        delta = sum((x-x0))
        print('第'+