机器学习笔记1 机器学习中优化问题的概述

机器学习中优化问题的概述

优化问题的概念：

 

优化变量/Optimization Variable：

向量 称为优化变量
目标函数/Objective function
函数 称为目标函数
约束函数/Constraint functions
函数 ,称为（不等式）约束函数
其中， 称为约束上限或者约束边界
解/optimal / solution
如果在所有满足约束的向量中向量  对应的目标函数值最小,那么称 为最优解。


我们一般考虑具有特殊形式的目标函数和约束函数的优化问题。线性规划就是其中重要的一类。
优化问题的分类
（1）线性规划VS非线性规划
线性函数：对任意的  和 有  
线性规划：优化问题中目标函数和约束函数 都是线性函数，则称此种优化问题为线性规划。
非线性规划：若优化问题不是线性的，则称之为非线性规划。
（2）凸优化VS 非凸优化
凸函数：
若函数f的定义域domf为凸集，且满足
 
则函数f称为凸函数。
即对于任意的 和 且满足  有，
 
则函数f称为凸函数。
可以看出，凸性是比线性更为一般的性质：线性函数要严格满足等式，而凸函数仅仅需要在满足不等式。
凸优化：优化问题的目标函数和约束函数都是凸函数，则称此种优化问题为凸优化问题。
非凸优化：若优化问题不是凸的，则称之为非凸优化问题。


线性规划问题也是一种特殊的凸优化问题，而凸优化问题可以看成线性规划问题的扩展。两类特殊的凸优化问题：最小二乘和线性规划。
机器学习中损失函数的优化问题通常被转化为凸优化问题。
而凸优化问题的求解过程中常用到驻点法、梯度下降法、拟牛顿法等。