本文为学习笔记,部分为文章摘录,部分为个人总结。
参考文献:袁亚湘,孙文瑜著. 最优化理论与方法[M]. 北京:科学出版社, 1997
一、最优化问题的一般形式
(一)无约束最优化问题
m i n x ∈ R n f ( x ) \mathop{min}\limits_{x\in R^n} f(x) x∈Rnminf(x)
(二)约束最优化问题
m i n f ( x ) s . t . c i ( x ) = 0 , i ∈ E c i ( x ) ≥ 0 , i ∈ I \mathop{min}f(x)\\ s.t.\quad c_i(x)=0, \quad i\in E\\ \qquad c_i(x)\geq0, \quad i\in I minf(x)s.t.ci(x)=0,i∈Eci(x)≥0,i∈I
其中 x x x是决策变量, f ( x ) f(x) f(x)为=是目标函数, c i ( x ) c_i(x) ci(x)是约束函数。当目标函数和约束函数均为线性函数时,问题成为线性规划;当目标函数和约束函数中至少有一个是变量x的非线性函数时,问题称为非线性规划。此外,根据决策变量、目标函数和要求的不同,最优化还分为整数规划、动态规划、网络规划、非光滑规划等若干分支。
二、数学基础
(一)范数
参考文献:范数、L1范数和L2范数的基本概念
范数,是具有“长度”概念的函数,它常被用来度量某个向量空间中的每个向量的长度或大小。
若 x = [ x 1 , x 2 , ⋅ ⋅ ⋅ , x n ] T x=[x_1,x_2,···,x_n]^T x=[x1,x2,⋅⋅⋅