引言
数学优化
优化问题可以写成如下形式:
minimize f 0 ( x ) subject to f i ( x ) ≤ b i , i = 1 , ⋯ , m . \begin{array}{lll} \text{minimize} & f_0(x) & \\ \text{subject to} & f_i(x) \leq b_i, &i=1,\cdots,m. \end{array} minimizesubject tof0(x)fi(x)≤bi,i=1,⋯,m.
其中, x x x是优化变量, f 0 f_0 f0是目标函数, f i f_i fi, i = 1 , ⋯ , m i=1,\cdots,m i=1,⋯,m,是约束函数。如果在所有满足约束的变量中, x ∗ x^\ast x∗对应的目标函数值最小,则称 x ∗ x^\ast x∗为最优解。
下面介绍两类特殊的优化问题:最小二乘和线性规划。
最小二乘和线性规划
最小二乘
最小二乘问题可以写成如下形式:
minimize f 0 ( x ) = ∥ A x − b ∥ 2 2 = ∑ i = 1 k ( a i T x − b i ) 2 . \begin{array}{cc} \text{minimize} & f_0(x) =\| Ax-b\| _2^2=\sum \limits_{i=1}^k(a_i^Tx-b_i)^2. \end{array} minimizef0(x)=∥Ax−b∥22=i=1∑k(aiT