高级优化理论与方法（八）

Global Search Method

之前的方法都需要用到函数Gradient，并且要求用户自己给出初始点$x_0$。接下来介绍几种不一样的启发式算法。

Neler-Mead Simplex

Def: “Simplex” ${\mathbb{R}}^n$
Object determined by an assemby of $n+1$ points.

$det\left[\begin{array}{cccc}{P}_0& P_1& \cdots & P_n\\ 1& 1& \cdots & 1\end{array}\right]\ne 0$

Initialize: $P_0,\cdots ,P_n\in {\mathbb{R}}^n$
($P_i=P_0+{\alpha }_i{e}_i,{\alpha }_i\in \mathbb{R},e_i=\left[\begin{array}{c}0\\ \cdots \\ 0\\ 1\\ 0\\ \cdots \\ 0\end{array}\right])$
注：上面给出了一种可行的初始化方法，$e_i$表示只有第$i$维为1，其余都为0的$n$维向量。

Update: replace $P_i$ with the max $f(P_i)$ by a new point.

Termination conditions satisfied.

2-dimensional: $P_s,P_{nl},P_l:f(P_s)\le f(P_{nl})\le f(P_l)$

注：二维情况下，有三个初始点，将三个初始点按照大小关系排列产生$P_s,P_{nl},P_l$。

$f(P_0)\le f(P_1)\le \cdots \le f(P_n)$

$P_g=\frac{1}{n}{\sum }_{i=0}^{n-1}{P}_i$

$P_r=P_g+\rho (P_g-P_l)$ [typical: $\rho =1$]

接下来都是以二维情况举例，进行分类讨论。

Case 1

$f(P_s)\le f(P_r)\le f(P_{nl})$

replace $P_l$ by $P_r\to$ next iteration

Case 2

$f(P_r)<f(P_s)$

expansion: $P_e=P_g+\lambda (P_g-P_l)$ [$\lambda =2$]

Case 2.1

$f(P_e)\le f(P_r)$

replace $P_l$ by $P_e$

Case 2.2

otherwise
replace $P_l$ by $P_r$

Case 3

$f(P_r)>f(P_{nl})$

Case 3.1

$f(P_l)>f(P_r):P_c=P_g+r(P_r-P_g)$ [$r=\frac{1}{2}$]

Case 3.2

otherwise
$P_c=P_g+r(P_l-P_g)$ [$r=\frac{1}{2}$]
If $f(P_c)<f(P_l)$ then replace $P_l$ by $P_c$, next iteration.
Otherwise, shrinkage: $\forall i:V_i=\delta (P_l-P_s)$ [$\delta =\frac{1}{2}$]

Simulated Annealing

模拟退火算法是一种随机搜索（Randomized Search) 算法。

Def: “Neighborhood” of $x$: N ϵ ( x ) = { x ′ : d ( x , x ′ ) ≤ ϵ } N_{\epsilon}(x)=\{x': d(x,x')\leq \epsilon\} Nϵ​(x)={x′:d(x,x′)≤ϵ}

Naive Random Search

1. $k:=0$, initialize $x^0$
2. Pick a point $z^k$ at random from $N_{ϵ}(x^k)$
3. If $f(z^k)<f(x^k)$, then $x^{k+1}=z^k$; else $x^{k+1}=x^k$
4. If some stop criterium satisfied, then stop
5. $k$++; Goto 2

Problem: local optimum
way: enlarge $N_{ϵ}(x)$

Simulated Annealing

3. Toss coin with probability of HEAD equal to $p(k,f(x^k),f(z^k))$. If HEAD, then $x^{k+1}=z^k$; else $x^{k+1}=x^k$

P ( k , f ( x k ) , f ( z k ) ) = m i n { 1 , e x p ( − f ( z k ) − f ( x k ) T k ) } P(k,f(x^k),f(z^k))=min\{1,exp(-\frac{f(z^k)-f(x^k)}{T_k})\} P(k,f(xk),f(zk))=min{1,exp(−Tk​f(zk)−f(xk)​)}

where $T_k$ is a positive sequence.

$T_k=\frac{r}{log(k+2)},r>0$
monotonically decreased to 0.

$\{\begin{array}{l}f(z^k<f(x^k):x^{k+1}=z^k(概率为1)\\ f(z^k)\ge f(x^k):x^{k+1}=z^k(概率为exp(-\frac{f(z^k)-f(x^k)}{T_k}))\end{array}$

$k\to \infty$: “escape” probability decreased.
注：该方法通过抛硬币的方式，解决了朴素随机搜索中可能陷入局部最小值的问题。

Particle Swarm Optimization (PSO)

粒子群优化

$|P|=m$

$\forall i:p_i^{best}$

$g^{best}$: globally best

basic PSO

1. $k:=0$, generate initial random points.$<p_i^0,v_i^0>p_i^{best}=p_i^0,g^{best}=argmi{n}_{i}f(p_i^0)$
2. For $i=1,\cdots ,m$ generate random vectors $r_i^k,s_i^k$ with components from {0,1}, and set $\omega <1,c_1,c_2\approx 2\Rightarrow V_i^{k+1}=\omega V_i^k+c_1{r}_i^k(p_i^{best,k}-p_i^k)+c_2{s}_i^k(g^{best,k}-p_i^k),p_i^{k+1}=p_i^k+V_i^{k+1}$
3. For $i=1,\cdots ,m$ do: if $f(p_i^{k+1})<f(p_i^{best,k})$, then $p_i^{best,k+1}=p_i^{k+1}$; else $p_i^{best,k+1}=p_i^{best,k}$
4. If ∃ i ∈ { 1 , ⋯   , m } \exist i\in \{1,\cdots,m\} ∃i∈{1,⋯,m} with $f(p_i^{k+1})<f(g^{best,k})$ then $g^{best,k+1}=p_i^{k+1}$; else $g^{best,k+1}=g^{best,k}$
5. If some stop criterion satisfied then stop;
6. $k$++; goto 2

Genetic Algorithms

遗传算法

representation scheme: ①selection②cross over③mutation

算法流程：

1. $P_0$
2. Selection$\to M_k$
3. Cross Over
4. Mutation
5. If some stop criterion satisfied then stop;
6. goto 2

为了表述方便，这里假定求最大值而非最小值。

Selection

population set: $|P(k)|=N$

P ( k ) = { x 1 , ⋯   , x N } P(k)=\{x_1,\cdots,x_N\} P(k)={x1​,⋯,xN​}

$|M(k)|=N$

注：Selection的目的是从大小为N的population set（即$P$）中选出N个元素组成$M$。

Rouletle-Wheel

$Prob(x_i\to M(k))=\frac{f(x_i)}{F(k)},F(k)={\sum }_{i=1}^{N}f(x_i)$

Tournament Scheme

随机两个元素$x_i,x_j$，若$f(x_i)>f(x_j)$，则选取$x_i$进入$M$

Cross Over

随机两个元素$x_i,x_j$，将$x_i$的前半部分和$x_j$的后半部分结合，形成新的元素。

Mutation

以较低的概率对元素$x_i$的某一位进行变异。

Constrained Optimization

min $f(x)$
s.t. $x\in \Omega$

Linear Programming(LP)

min/max $f(x)=c^{T}x={\sum }_{i=1}^n{c}_i{x}_{ij},c\in {\mathbb{R}}^n,x\in {\mathbb{R}}^n$
s.t. $\{\begin{array}{l}{a}_{11}{x}_1+\cdots +a_{1n}{x}_n>b_1\\ a_{21}{x}_1+\cdots +a_{2n}{x}_n\le b_2\\ \cdots \\ a_{m1}{x}_1+\cdots +a_{mn}{x}_n\ge b_m\end{array}$
$b_i\in \mathbb{R},\forall 1\le i\le m$
$a_{ij}\in \mathbb{R},\forall 1\le i\le n,1\le j\le m$

Complex

LP Standtard Form

min $c^{T}x$
s.t. $Ax\ge b$

Normal Form

min $c^{T}x$
s.t. $Ax=b$
$x\ge 0$
注：为了满足$x\ge 0$，若$x_i$的要求是小于等于0，则可以用$-x_i$来代替$x_i$；若$x_i$没有要求，则可以令$x_i=u-v,u,v\ge 0$。

Example

max $x_2-x_1$
s.t. $3x_1=x_2-5$
$|x_2|\le 2$
$x_1\le 0$

①min $x_1-x_2$
②$x_1\leftarrow -x_1$
③$|x_2|\le 2\Rightarrow x_2\le 2,x_2\ge -2$
④$x_2=u-v,u,v\ge 0$

min $-x_1-(u-v)$
s.t. $-3x_1=u-v-5$
$u-v\le 2$
$u-v\ge 2$
$x_1,u,v\ge 0$

min $-x_1-u+v$
s.t. $3x_1+u-v=5$
$u-v+y=2$
$u-v-z=-2$
$x_1,u,v,y,z\ge 0$

Theorem

For each LP, there exists an equivalent LP in normal form.

总结

这节课先介绍了一些全局搜索法。介绍了奈勒-米德单纯形算法，模拟退火算法，粒子群优化算法，遗传算法（这里讲的比较粗略，可以参考我的另一篇博客）。这些算法都属于启发式算法，算法的理论基础较为薄弱，所以在介绍算法之后没有做过多展开。

到这周是第八周了，学期过半。前半学期都在介绍无限制条件的优化算法，后半学期要开始介绍带限制条件的优化算法了。这节课先从比较简单的线性优化开始，介绍单纯形法。这节课证明了任何线性优化问题都可以转化为规范形式，这方便了我们后面的求解。