Convex Optimization Note 2

Convex Optimization Note 2

1. Quasi-convex function

1) definition: sublevel sets all are convex sets

2) examples:
$f(x_1,x_2)=x_1x_2$ $x\in R^n_+$
linear-fractional function $f(x)=\frac{a^Tx+b}{c^Tx+d}$
distance-ratio function $f(x)=\frac{\|x-a\|_2}{\|x-b\|_2}$ with $\|x-a\|\le \|x-b\|$ sublevel sets are Euclidean ball
3) $f(\theta x+(1-\theta y))\le \max(f(x),f(y))$ 同样可以restrict到line上

4) 对于$R\to R$ 的函数而言，quasi-convex只能是以下三种情况：
non-increasing/non-decreasing/某点之前non-increasing，之后non-decreasing

5) first-order conditions: $(f(y)\le f(x)\implies \nabla f(x)^T(y-x)\le 0)\iff f\ is\ quasiconvex$
a support plane at (x,f(x)) of sublevel set ($\le f(x)$)
$\nabla f(x)=0$ 不一定是全局最优点

6) second-order conditions: $y^T\nabla f(x)=0\implies y^T\nabla^2f(x)y\ge 0$
对于$\nabla f(x)=0$ 的情况，$\nabla^2f(x)$ 半正定
对于$\nabla f(x)\ne0$ 的情况，$\nabla^2 f(x)$ 要对 $null(\nabla f(x))$ 半正定，意味着$\nabla^2 f(x)$ 最多有一个负的特征值
converse需要在>情况下才成立。

7) 保持quasi-convex的operation
non-negative weighted sum->point wise supremum
affine or linear-fractional composition
minimization(与convex函数相同)
8) 其sublevel set $f(x)\le t \iff \phi_t(x) \le 0$
可以用一个convex function family来表达。这样的凸函数$\phi_t$ 总是存在的。

2. Convex optimization problem

2.1 Basics

1) 对于凸优化(or quasi-convex)问题而言，optimal set与sub-optimal set都是convex set
如果$f_0$ 是strict convex function，则最优解是唯一的（定义可以验证这两个结论）。

2) convex optimization而言，局部最优就是全局最优（定义反证）。

3) first-order最优等价条件: $\nabla f_0(x)(y-x)\ge 0 \ for\ all\ y \in X$
在unconstrained情形下($X$ 是开集)，上述条件变为$\nabla f_0(x)=0$ 。此方程解的情况，决定了
a. unbounded below b. optimal value is finite but not attained c. one or multiple solution

4) first-order with only equality constraint:需要存在某个$v$ 使得 $\nabla f_0(x)+A^Tv=0$ 。
可以由3）的条件，加上x、y都在Ax=b的解空间中推导出来。

5) non-negative orthant
$minimize\ f_0(x)\ s.t.\ x\succeq0$ 其first order条件等价于:
$x\succeq0,\ \nabla f_0(x)\succeq0,\ x_i(\nabla f(x))_i=0$
第三个式子，表明$x_i$ 与$(\nabla f(x))_i$ 两者必须有一个为0

6) epigraph problem form依然保持convex，因此可以称线性目标是所有凸优化的通用目标函数。
引入slack需要inequality是affine函数才能保持convex

7) quasi-convex optimization problem: $f_0(x)$ 是一个quasi-convex function
a. $\nabla f_0^T(y-x)>0$ 是optimality的sufficient condition（not necessary)
b. 由于可以找到sublevel set的convex表达，因此可以把quasi-convex问题转换为找相应的convex问题的feasible set(类似于二分查找)

2.2 Equivalent problems

1) change of variables: one-to-one mapping

2) transformation of objective and constraint functions:
objective: monotone increasing
constraint: same condition $\le$ 0 or = 0

3) slack variables: eliminate $\le 0$

4) eliminating equality constraints such as linear Ax=b (特解+通解)

5) Introducing equality constraints

6) optimizing over some variables

7) epigraph problem form:
$minimize\ f_0(x)\implies minimize \ t \ \ s.t \ f_0(x)-t\le 0$

2.3 Typical problems

1) Linear programming–>linear-fractional programming(可以转换为LP问题)

2) Quadratic programming–>Quadratic constrained quadratic programming(QCQP)–> Second-order cone programming(SOCP)

3) Geometric programming
monomials/posynomials form–>convex form (取y=log(x))