连续优化、离散优化、组合优化、整数优化和凸优化

optimization分类

4 Classification of optimization problem
(IP: integer programming,
MINLP: mixed integer non-linear programming,
MILP: mixed integer linear programming,
LP: linear programming,
QP: quadratic programming,
NLP: non-linear programming)

出自

其中，离散优化又称组合优化. means searching for an optimal solution in a finite or countably infinite set of potential solutions.

optimization按目标函数分类

source

optimization按照决策变量分类

source

optimization按照解决方法分类

具体算法介绍

易混的概念

离散优化

是站在解的角度来看。变量是离散的。

整数规划

离散优化的下面，离散的变量同时还都是整数。同时，它是基于线性规划中，变量必须是整数的约束下提出来的。跟线性规划密切相关。JK

studies linear programs in which some or all variables are constrained to take on integer values.

1. 0-1整数规划（二元整数规划）：对于每个选择，选或者不选，再加上约束，找最优解
2. 有分支界定法，分支切割法可以精确求解，但是是np难的方法。
3. 要快一些的话，有如近似算法（Approximation Algorithms），启发式算法（Heuristic Algorithms），遗传算法（Evolution Algorithms, Meta-Heuristic）等等。它们虽然不能求得整数规划的最优解，但是却能在短时间（通常多项式时间）内给出一个较好的可行解。

组合优化

和离散优化表达的是一个意思。摘自wiki原文

Combinatorial optimization is concerned with problems where the set of feasible solutions is discrete or can be reduced to a discrete one.

凸优化的概念

简单的测试一个集合是不是凸的，只要任意取集合中的俩个点并连线，如果说连线段完全被包含在此集合中，那么这个集合就是凸集，例如左图所示。

• 凸优化有个非常重要的定理，即任何局部最优解即为全局最优解。

期刊文献

https://www.zhihu.com/question/31900230