关于 线性规划 非线性规划 与 凸优化

优化问题涉及关键词：
凸优化、凸锥、凸集、线性规划、非线性规划（np）、拉格朗日chengzi、hessian矩阵、泰勒展开式、梯度、方向导数、牛顿法、凸二次优化、局部最小化、随机梯度、最速梯度、批量梯度、kkt条件、等高线 、共轭梯度、二次型、二次型矩阵、对偶问题

一，前置条件：需要补充一下知识，才开启下面内容：

方向导数 与 梯度的概念

线性规划

hession矩阵

泰勒展开式

共轭

————————————————————————————————————————————————
二，凸集：
http://www.hanlongfei.com/%E5%87%B8%E4%BC%98%E5%8C%96/2015/05/22/convexset/


————————————————————————————————————————————————

三，线性规划求解：

可以转化为线性规划对偶方式：http://blog.csdn.net/chunyun0716/article/details/52423991

求解：
无约束求解：导数、求极值
有约束求解：
1，图解法——最为简单直观，不需要转化为标准型
2，单纯形表法：
    a，需要转化为标准型：min到max，将不等式变为等式：增加松弛变量
    b，找出所有基解，判断是否是基础可行解，并比较求出最大的那个

————————————————————————————————————————————————
四，非线性规划内的凸优化求解：

也可以转化为对偶方法：http://blog.csdn.net/chunyun0716/article/details/52423991

1，无约束：（无论是否是凸函数、还是非凸函数均可使用）
原理：需要先理解方向导数、梯度概念；
方法：
最速梯度下降（需要方向导数、梯度知识、偏导数原理），
牛顿法（泰勒展开式知识、需要hession矩阵、偏导数原理、对称矩阵、二次型），
随机梯度（由最速梯度衍生），
批量梯度（由最速梯度衍生），
共轭梯度（由最速梯度衍生、共轭概念、共轭矩阵）

2，等式约束（限凸函数）：拉格朗日乘子（需要等高线、法向量知识）将等式有约束变为无约束，之后使用无约束方法求解，拉格朗日乘子原理请查看：https://www.zhihu.com/question/38586401。

3，不等式约束（需要满足kkt条件）：kkt条件（广义拉格朗日乘子），原理：https://www.zhihu.com/question/23311674，如果求解困难，可考虑转化为拉格朗日对偶，之后通过无约束方法求解。

4，对于有约束的优化问题，通过拉格朗日法可以将其转变为等价的无约束优化问题。在这个过程中，新构造的拉格朗日函数存在好玩的对偶性质，从而衍生出了对偶问题。原问题与对偶问题之间的特殊性质，为我们

研究优化问题提供了新的方向和方法。因此，这部分的思路是：对4.1定义的优化问题，通过拉格朗日法构造拉格朗日函数，从而生成原问题Primal problem和对偶问题Dual problem，然后介绍一些引理，揭示原问题

与对偶问题之间的关系。拉格朗日对偶问题，详情查看：https://www.cnblogs.com/90zeng/p/Lagrange_duality.html
————————————————————————————————————————————————

五，凸优化：
凸优化包含：线性规划 与 目标函数与条件函数都是凸函数的 非线性规划。
详情查看：https://www.zhihu.com/question/24641575/answer/164397294

凸优化特性：
a，局部最优解=全局最优解
b，效率高
c，是目前科技比较确定的可以求解的非线性规划方式，
d，许多非凸问题通过一定的手段，要么等价地化归为凸问题，要么用凸问题去近似、逼近。典型的如几何规划、整数规划，它们本身是非凸的，但是可以借助凸优化手段去解，这就极大地扩张了凸优化的应用范围。
e，在非凸优化中，凸优化同样起到很重要的作用    1）当你要解决一个非凸优化问题时，可以先试图建立一个简化多凸优化模型，解出来以后作为非凸问题的一个起始点。    2）很多非凸优化问题的启发式算法的基础都是基于凸优化    3）你可以先建立非凸优化的松弛问题，使用凸优化算法求解，作为非凸优化问题的上限或下限（bound）


求解凸函数的极小值（convex minimization）和凹函数的极大值（concave maximization）都是凸优化问题（convex optimization problem）。

凸优化之所以‘容易’是因为任何可证明的局部最优解（Local Optimal Solution）都同时为全局最优解（Global Optimal Solution）。

凸优化理论中最重要的工具是Lagrange对偶。近些年来关于凸问题的研究非常透彻，以至于只要把某一问题抽象为凸问题，就可以近似认为这个问题已经解决了。

————————————————————————————————————————————————

六，关于非凸非线性规划求解：

解决一个非凸优化问题时，可以先试图建立一个简化的多凸优化模型，解出以后作为非凸问题的一个起始点，很多非凸优化问题的启发式算法的基础都是基于凸优化，可以先建立非凸

优化的松弛问题，使用凸优化算法求解，然后作为非凸优化问题的上限或下限

a，先松弛，例如，某问题有一约束为 x^2+bx+c=0 ，就不构成一个凸集，但等价于 x^2+bx+c<= 0 和 x^2+bx+c>= 0 ，前一个不等式即构成凸集，因此我们可以将后一个不等式从约束中去除，就得到原问题的一个凸

优化松弛问题。
b，利用广义拉格朗日乘子 以及 拉格朗日对偶简化，
c，通过凸优化的无约束条件规划求解。