最优化算法—（1）基础理论关键

最优化算法—（1）基础理论关键

1.数学模型

 

1.1.线性规划问题

       决策变量为连续型，目标函数和约束条件为线性函数。
 

 

1.2.非线性规划问题

       决策变量为连续型，目标函数或约束条件为非线性函数。
    举例：

 

1.3.整数规划问题

       一部分或全部决策变量必须取整数值的规划问题称为整数规划。
    a.纯整数规划：全部决策变量都为整数；
    b.混合整数规划：决策变量有一部分是整数值，另一部分不是整数；
    c.0-1整数规划：决策变量只能取0或1的整数规划。

       整数线性规划模型（一个线性规划模型中的部分或全部决策变量为整数）一般形式：
 

  

2.最优化模型分类

       实际问题建模时，需根据变量类型、参数类型、目标数量、有无约束来选择合适的模型，再根据具体的模型来匹配对应的实现算法。

       具体模型的讲解在后续的文章中更新。
 
 

3.凸函数

3.1.为什么要研究凸优化问题

       因为凸优化问题具有非常好的性质，如果目标函数是凸函数，并且可行域是凸集，局部最优即是全局最优，且最优解满足：

 

3.2.如何判定凸函数

3.2.1.根据定义判断

 

 

 

3.2.2.根据定理判断

 


 

3.2.3.matlab工具画图

       利用matlab分析工具，在一个自定义范围求解函数值，得到函数的曲线如下，很明显该函数为凸函数。

% matlab代码
x1 = 0:100;
x2 = -50:50;
f = x1.*x1 - 2*x1.*x2 + 2*x2.*x2 + 3*x2;
figure
plot3(x1,x2,f,'LineWidth',5)
grid on
title('f = x1.*x1 - 2*x1.*x2 + 2*x2.*x2 + 3*x2')

 
 

4.最优化算法分类

       具体的算法讲解及实现在后续的文章中更新。
 

4.1.费马引理

       通过证明可导函数的每一个可导的极值点都是驻点（函数的导数在该点为0），该定理给出了一个求出可微函数的最大值和最小值的方法。