初学ML笔记N0.3——凸优化、拉格朗日对偶

凸函数定义

---

凸优化，即指的是对凸函数的一类优化问题。所以，首先，应该明白什么是凸函数。
在同济教材里，判断某个点处的凹凸性，用的是二阶导数的正负号来判断。小于0，是凸的；大于0，是凹的。但是，国外的凹凸性定义跟我们是相反的，这点得注意。以下讨论，我们按国外的定义来。
按数学定义，凸函数定义为：

图里的表示方式有点特别。但是我们把 θx+(1-θ)y 化简为 θ(x-y)+ y 后，把 (x-y) 与 y 向量在坐标系中表示出来，就能明白定义等式的含义了。即，函数上任意两点连线上的值都要大于对应x点处的函数值。

凸函数性质

---

• 运算后还能保持函数凸性的算子：

  

• 当定义函数 f(x)=max{ f1(x) , f2(x) , f3(x) …..fn(x)} ，此函数一定是凸函数。证明过程如下：

  

• 根据上