Convex Optimization最优化第一次作业

 数学优化问题的分类

1.无约束优化/约束优化：

无约束最优化方法是求解无约束最优化问题的方法，有解析法和直接法两类。

解析法就是利用无约束最优化问题中目标函数 f(x) 的解析表达式和它的解析性质（如函数的一阶导数和二阶导数），给出一种求它的最优解 x*的方法，或一种求 x*的近似解的迭代方法。

直接法就是在求最优解 x*的过程中，只用到函数的函数值，而不必利用函数的解析性质，直接法也是一种迭代法，迭代步骤简单，当目标函数 f(x) 的表达式十分复杂，或写不出具体表达式时，它就成了重要的方法。

约束优化是在一系列约束条件下，寻找一组参数值，使某个或某一组函数的目标值达到最优。其中约束条件既可以是等式约束也可以是不等式约束。寻找这一组参数值的关键可是：满足约束条件和目标值要达到最优。求解约束问题的方法可分为传统方法和进化算法。

传统方法的实现如牛顿法、梯度法等，其基本思想就是将动态的转化为静态的，将多目标转化为单目标，由点及面的搜索思想。

2.线性/非线性优化：线性优化的概念：目标函数和约束条件的表达是线性的。

非线性优化的概念：目标函数和约束条件的表达至少有一个是非线性的。

3.连续/离散优化： 

连续优化是求解在连续变量的问题，其一般地是求一组实数，或者一个函数。二次规划：二次规划问题是目标函数是二次的，约束条件是线性的
离散优化求解离散变量的问题，是从一个无限集或者可数无限集里寻找一个对象，典型地是一个整数，一个集合，一个排列，或者一个图。

4.单目标/多目标优化：

单目标最优化问题：从一个问题的所有可能的备选方案中，选择出依某种指标来说是最优的解决方案。

多目标优化有多个评测函数的存在，而且使用不同的评测函数的解，也是不同的。也即是说：多目标优化问题中，同时存在多个最大化或是最小化的目标函数，并且，这些目标函数并不是相互独立的，也不是相互和谐融洽的，他们之间会存在或多或少的冲突，使得不能同时满足所有的目标函数。

5.静态/动态规划：

静态规划：从一个或多个可行解开始，通过不断迭代对现有可行解优化，最后得到最优解。线性规划的单纯性解法，是一种静态规划方法。首先生成线性规划的一个可行解，然后不断迭代优化可行解，最后得到最优解。在迭代计算过程中，始终保持一个可行解或近优解，这是静态优化的一个显著特征。

动态规划：采用拆分的方法，把问题分解成多个相互联系的单阶段问题，通过求解每个单阶段问题，完成问题求解。

6.随机优化和鲁棒优化：

随机优化需要“不确定参数的分布模型”，鲁棒优化不需要“不确定参数的分布模型”。

随机优化通过对随机参数取期望，将模型转化为确定性模型求解，它的解并不满足所有参数取值。

鲁棒优化，只要不确定参数属于给定的不确定集合，它的解严格满足所有约束。

7.数值/组合优化：

数值优化问题：决策变量的取值往往是连续的，通常是一段连续定义域上的连续函数的函数求得最值的问题

组合优化问题：决策变量是离散的。 组合优化问题是对离散变量按照一定评价标准的排序，筛选或分类。

组合问题首先有解的集合，但是怎样优化是重点。

8.凸/非凸优化：

凸优化 问题是指 ꭕ是 闭合的凸集 且 f是ꭕ上的 凸函数 的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。

实际建模中判断一个最优化问题是不是凸优化问题一般看以下几点：

①目标函数f如果不是凸函数，则不是凸优化问题。

②决策变量x中包含离散变量（0-1变量或整数变量），则不是凸优化问题。

③约束条件写成g(x)<=0时，如果不是凸函数，则不是凸优化问题。