机器学习中优化问题的概述
优化问题的概念:
优化变量/Optimization Variable:
目标函数/Objective function
函数 称为目标函数
约束函数/Constraint functions
函数 ,称为(不等式)约束函数
其中, 称为约束上限或者约束边界
解/optimal / solution
如果在所有满足约束的向量中向量 对应的目标函数值最小,那么称 为最优解。
我们一般考虑具有特殊形式的目标函数和约束函数的优化问题。线性规划就是其中重要的一类。
优化问题的分类
(1)线性规划VS非线性规划
线性函数:对任意的 和 有
线性规划:优化问题中目标函数和约束函数 都是线性函数,则称此种优化问题为线性规划。
非线性规划:若优化问题不是线性的,则称之为非线性规划。
(2)凸优化VS 非凸优化
凸函数:
若函数f的定义域domf为凸集,且满足
则函数f称为凸函数。
即对于任意的 和 且满足 有,
则函数f称为凸函数。
可以看出,凸性是比线性更为一般的性质:线性函数要严格满足等式,而凸函数仅仅需要在满足不等式。
凸优化:优化问题的目标函数和约束函数都是凸函数,则称此种优化问题为凸优化问题。
非凸优化:若优化问题不是凸的,则称之为非凸优化问题。
线性规划问题也是一种特殊的凸优化问题,而凸优化问题可以看成线性规划问题的扩展。两类特殊的凸优化问题:最小二乘和线性规划。
机器学习中损失函数的优化问题通常被转化为凸优化问题。
而凸优化问题的求解过程中常用到驻点法、梯度下降法、拟牛顿法等。