Convex Optimization Note 4

### Convex Optimization Note 4

1. Log-concave and log-convex functions

1) log-convex function 也是 convex，log-concave至少是quasi-concave，concave function一定是log-concave（composition）

2) examples:
cumulative function of Gaussian density is log-concave $\Phi(x)=\int_{-\infty}^xe^{-u^2/2}du$
Gamma function is log-convex for x>1: $\Gamma(x)=\int^{\infty}_0u^{x-1}e^{-u}du$
$\det X$ is log-concave
$\det X/\bf{tr}\ X$ is log-concave
大部分概率密度函数都是log-concave，如高斯分布、指数分布、Convex set上的均匀分布

3) log-convex $\iff f(x)\nabla^2 f(x)\succeq \nabla f(x) \nabla f(x)^T$

4) multiplication and positive scaling保持log-concave log-convex
加法保持log-convex（由log-sum-exp的convexity可以推导），并且可以推广至积分:
$f(x,y)$ 对于任意$y$ 关于$x$ 都是log-convex，则$g(x)=\int_Cf(x,y)dy$ 是log-convex

5) 如果$f(x,y)$ 是关于$(x,y)$ 的log-concave函数，那么$g(x)=\int f(x,y)dy$ 是log-concave:
这个性质可以用于边缘分布、卷积等：
概率密度函数是log-concave则其概率累积函数是log-concave（例如高斯分布）

2. Convexity with respect to generalized inequalities

1) 如果是对于$R^n_+$ 的单调性则是对于每一个变量单独的单调性。
对于$S^n_+$ 的单调性: ${\bf tr}(WX)$

2) gradient condition for monotonicity: $K$-non-decreasing $\iff\ \nabla f(x)\succeq_{K^*}0$
$K$-increasing $\impliedby\ \nabla f(x)\succ_{K^*}0$ 反过来不正确

3) convexity对于$R^n_+$ 实际上就是每一个分量都是convex
对于$S^n_+$ 而言，convexity $\iff \forall z\ \ z^Tf(x)z$ 是convex function

4) $f​$ 是$K​$ convex function $\iff \forall \omega\succeq_{K^*}0\ \ \omega^Tf​$ 是convex function（strict同理，去掉等号）

5) 一阶导数条件与convex相同，只是把不等号换成推广不等号

6) composition: 同convex

3. Generalized inequality constraints

1) 将convex optimization问题中的不等式替换为generalized inequality，函数替换为$K$-convex function

2) 具有性质：
feasible set, sublevel set, optimal or suboptimal set都是convex set
局部最优是全局最优
可微分$f_0$ 的各种最优条件不变
（通常可以用凸优化方法直接求解这类问题）

3）Conic programming-> Second-order cone programming(SOCP)
Semidefinite programming