《凸优化》学习笔记(一)
?凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题,理解凸优化之前,请先理解线性优化。在机器学习算法中,已知的比如LogisticRegression,SVM,都与数学优化有关,在数学中,不存在无约束优化问题。比较常见的构建损失函数方法,从最简单的两个向量的二阶范数的平方(KNN,Kmeans)到linearRegression、LogisticRegression的最小二乘模型,再到SVM的二次凸优化,都和数学优化理论紧密相关。本篇笔记主要学习数学优化的前奏部分:凸优化的概念部分。
1.1.1数学优化
--------------------①
这是数学优化的最基本形式。其中,x = (x1,x2,……xn)称为优化变量,函数称为目标函数,函数
称为约束函数。常数
称为约束上限或者约束边界。如果在所有满足约束的向量中向量