数值优化（Numerical Optimization）学习系列-线性规划（Linear Programming）

概述

线性规划问题是指目标和约束函数都是线性的最简单的约束最优化问题，也是在实际中最长使用的模型之一。其求解算法也是相对成熟，各个代数软件中都会有求解该问题的工具，本节主要介绍：
1. 线性规划的基本形式已经对偶
2. 线性规划两类求解算法：单纯形和内点法
3. 总结

线性规划问题

标准形式

线性规划的标准形式通常表示为

$$min \ c^Tx, \; s.t \ Ax=b,\ x \ge 0$$ 其中矩阵A是一个m*n的矩阵，通常情况下是 行满秩矩阵，否则可能解不存在或者唯一解。
对于其他形式都可以转化为标准形式，例如 $$min \ c^Tx, \; s.t \ Ax \le b$$ 可以采用松弛的方法进行转换
$$min \ c^Tx, \; s.t \ Ax + z = b; z \ge 0$$ 此时目标函数中的变量还不满足非负数约束，可以采用 $x=x^+-x^-$，其中 $x^+=max(x,0);x^-=max(-x,0)$
同理对于其他形式，均可以转换
$$x\le u <=> x+w=u,w\ge 0$$ $$Ax\ge b <=> Ax-y=b;y\ge0$$

线性规划解的形式，根据约束的不同，该问题可能有唯一解、一条线、一个平面，无解（Infeasible）或者无界（Unbounded）
最后两种情况都可以认为无界，一个可行解为空，一个可行解不可达
线性规划主要考虑$m<n的情况$，即行满秩，此时可能有多个解，其他都可能唯一解或者无界。

对偶问题

由于线性的关系，该问题满足LICQ时，局部最优解就是全局最优解，因此原始问题和对偶问题的解一致。拉格朗日函数为

L(x,λ,s)=c