数学优化(Mathematical Optimization)问题,也叫最优化问题,是指在一定约束条件下,求解一个目标函数的最大值(或最小值)问题。
数学优化问题的定义为:给定一个目标函数(也叫代价函数)f : A → R,寻找一个变量(也叫参数)x∗ ∈ D,使得对于所有D中的x,f(x∗) ≤ f(x)(最小化);或者f(x∗) ≥ f(x)(最大化),其中D为变量x 的约束集,也叫可行域;D中的变量被称为是可行解。
最优化问题一般可以表示为求最小值问题。求f(x) 最大值等价于求−f(x) 的最小值。
数学优化的类型
离散优化问题
离散优化(Discrete Optimization)问题是目标函数的输入变量为离散变量,比如为整数或有限集合中的元素。离散优化问题的求解一般都比较困难,优化算法的复杂度都比较高。离散优化问题主要有两个分支:
1. 组合优化(Combinatorial Optimization):其目标是从一个有限集合中找出使得目标函数最优的元素。在一般的组合优化问题中,集合中的元素之间存在一定的关联,可以表示为图结构。典型的组合优化问题有旅行商问题、最小生成树问题、图着色问题等。很多机器学习问题都是组合优化问题,比如特征选择、聚类问题、超参数优化问题以及结构化学习(Structured Learning)中标签预测问题等。
2. 整数规划(Integer Programming):输入变量x ∈ Zd 为整数。一般常见的整数规划问题为整数线性规划(Integer Linear Programming,ILP)。整数线性规划的一种最直接的求解方法是:
(1)去掉输入必须为整数的限制,将原问题转换为一般的线性规划问题,这个线性规划问题为原问题的松弛问题;
(2)求得相应松弛问题的解;
(3)把松弛问题的解四舍五入到