凸优化Python实战(7)_最速下降法

雪龙无敌

已于 2022-05-31 21:35:43 修改

阅读量455

点赞数

分类专栏： Python凸优化文章标签： python 开发语言

于 2022-05-12 22:37:07 首次发布

本文链接：https://blog.csdn.net/u012338969/article/details/124741175

版权

Python凸优化专栏收录该内容

8 篇文章 5 订阅

订阅专栏

1.原理推导

1.1最速下降法的基本原理

在这里插入图片描述

1.2最速下降法的算法步骤

在这里插入图片描述

1.3最速下降法的最优步长

在这里插入图片描述

2.计算案例：

在这里插入图片描述

3.总结

在这里插入图片描述

4.代码实现

代码可以在 https://github.com/HarmoniaLeo/optimization-in-a-nutshell找到，如果帮助到你，请点个star，谢谢这对博主真的很重要！
本次引用Function.py和lagb.py也可以在最优化(1)_ 最优化问题概念与基本知识找到

import numpy as np
from Function import Function   #定义法求导工具
from lagb import *  #线性代数工具库

n=2 #x的长度

def myFunc(x):  #x是一个包含所有参数的列表
    return x[0]**2 + 2*x[1]**2 + 2*x[0] - 6*x[1] +1 #目标方程

x=np.zeros(n)   #初值点
rho=0.6
beta=1
sigma=0.4
e=0.001
k=0
tar=Function(myFunc)
while tar.norm(x)>e:
    d=-tar.grad(x)
    a=1
    if not (tar.value(x+a*d)<=tar.value(x)+rho*a*dot(turn(tar.grad(x)),d) and dot(turn(tar.grad(x+a*d)),d)>=sigma*dot(turn(tar.grad(x)),d)):
        a=beta
        while tar.value(x+a*d)>tar.value(x)+rho*a*dot(turn(tar.grad(x)),d):
            a*=rho
        while dot(turn(tar.grad(x+a*d)),d)<sigma*dot(turn(tar.grad(x)),d):
            a1=a/rho
            da=a1-a
            while tar.value(x+(a+da)*d)>tar.value(x)+rho*(a+da)*dot(turn(tar.grad(x)),d):
                da*=rho
            a+=da
    x+=a*d
    k+=1
    print(k)
print(x)

引用参考：

深入浅出最优化(3) 最速下降法与牛顿法：https://www.jianshu.com/p/c1f40133e04a
最速下降法(上)：https://www.bilibili.com/video/BV1RK4y1a75C?spm_id_from=333.999.0.0
最速下降法(下)：https://www.bilibili.com/video/BV1ey4y1k7jY?spm_id_from=333.999.0.0