优化与凸优化初始

• optimization：优化，
  
  • convex optimization
• optimal：最佳的；

0. 分类

最优化问题似乎自然地分成两类：

• 一类是连续变量的问题，
• 另一类是离散变量的问题。
  
  • 具有离散变量的问题，我们称它为组合的。

1. KKT 条件

KKT 条件是一个非线性规划问题（nonlinear programming）存在一个最优解的一阶必要条件（first order ），也即首先应当满足的条件，否则就不存在最优解。

2. Bi-convex

Biconvex optimization

bi-，必然表示两者之间。

一个二元函数 $f(x,y)$，如果满足，固定 $x$，$f_x(y)=f(x,y)$ （关于 $y$）是凸的；对称地，固定 $y$，$f_y(x)=f(x,y)$（关于 $x$） 是凸的，就称这样的函数 $f(x,y)$ 是 bi-convex function。