凸优化理论——无约束最优化方法 + Lagrange multipliers + KKT conditions

最新推荐文章于 2021-12-11 08:26:34 发布

Aewil

最新推荐文章于 2021-12-11 08:26:34 发布

阅读量2.4k

点赞数 2

分类专栏：数学文章标签：优化

数学专栏收录该内容

1 篇文章 0 订阅

订阅专栏

蛮久前学过了凸优化理论，今天要用到重温了一下。
只是mark一下优秀的博客~

转自华夏35度的无约束最优化方法及拉格朗日乘子法和KKT条件。
几个重要概念：

梯度：方向与等值面垂直，并且指向函数值提升的方向。
正定二次型函数：

$n$ 阶实对称矩阵 $Q$ ，对于任意的非0向量 $X$ ，如果有 $X^TQX>0$ ，则称 $Q$ 是正定矩阵。
对称矩阵 $Q$ 为正定的充要条件是： $Q$ 的特征值全为正。
二次函数:
$f (x) = 1 2 X T Q X + b T X + c$ $f(x)=\frac12 X^T Q X+b^T X+c$
若 $Q$ 是正定的，则称 $f(X)$ 为正定二次函数。
二次收敛：指一个算法用于具有正定二次型函数时，在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系，更不是一回事，二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。

黄金分割法

黄金分割法适用于任何单峰函数求极小值问题。

求函数在[a, b]上的极小点，我们在[a, b]内取两点c,d，使得 $a<c<d<b$ 。并且有

c - a b - a = b - d b - a = r (1)

$\frac{c-a}{b-a}=\frac{b-d}{b-a}=r \tag 1$

如果 $f(c)<f(d)$ ，则最小点出现在[a, d]上，因此[a, d]成为下一次的搜索区间。
如果 $f(c)>f(d)$ ，则[c,b]成为下一次的搜索区间。

假如确定了[a, d]是新的搜索区间，我们并不希望在[a, d]上重新找两个新的点使之满足(1)式，而是利用已经抗找到有c点，再找一个e点，使满足：

e - a d - a = d - c d - a = r (2)

$\frac{e-a}{d-a}=\frac{d-c}{d-a}=r \tag 2$
可以解得

r=0.382 $r=0.382$ ，而黄金分割点是0.618。

练习：求函数 $f(x)=x^2-10\cdot x+36$ 在[1, 10]上的极小值。

#include<stdio.h> 
#include<math.h> 
#include<limits.h> 
double func(double x){
    return x*x-10*x+36; 
} 
void main(){
    double zeta=0.001; 
    double a=1.0,b=10.0; 
    double t1=a-1; 
    double t2=b+1; 
    double v1=0.0; 
    double v2=0.0; 
    double min_value=INT_MAX; 
    int iteration=0; 
    while(++iteration){ 
        if(t1==a-1){ 
            t1=a+0.382*(b-a); 
            v1=func(t1); 
        } 
        if(t2==b+1){ 
            t2=a+0.618*(b-a); 
            v2=func(t2); 
        } 
        if(v1<v2){ 
           min_value=v1; 
           b=t2; 
           t2=t1; 
           v2=v1; 
           t1=a-1; 
        } 
        else{ 
           min_value=v2; 
           a=t1; 
           t1=t2; 
           v1=v2; 
           t2=b+1; 
        } 
        if(fabs(b-a)<zeta) 
            break; 
        printf("当前极小值%f\n",min_value); 
    } 
    printf("迭代次数%d\n",iteration); 
    printf("极小值%f\n",min_value); 
}