一种点到特定高维平面的距离的优化算法

一种点到特定高维平面的距离的优化算法

该算法来自于Efficient Projections onto the ℓ1-Ball for Learning in High Dimensions论文，优化问题为：
$$\underset{\mathbf{w}}{\mathrm{minmize}}\frac{1}{2}\Vert \mathbf{w}-\mathbf{v}{\Vert }_2^{2}s.t.\sum _{i=1}^m{w}_i=z,w_i\ge 0$$
其中 $\mathbf{w}$和 $\mathbf{v}$均为向量。
解决方法如下：

step1

构造拉格朗日函数
$$L(w,\delta )=\frac{1}{2}\Vert \mathbf{w}-\mathbf{v}{\Vert }_2^2+\theta (\sum _{i=1}^n{w}_i-z)-\mathbf{\delta }\cdot \mathbf{w},s.t.{\delta }_i\ge 0$$

step2

关于$w_i$求偏导，令导数为0，可以得到$w_i$的计算式：
$$w_i=v_i-\theta +{\delta }_i$$
同时根据KKT方程可以得知，若$w_i>0$则必有${\delta }_i=0$；
所以若$w_i>0$，则$w_i=v_i-\theta$。

step3

引入一个定理：
定理1：对于最开始的优化问题，若$\mathbf{w}$是最优解向量，那么对任意的下标$i,j$若满足$v_i>v_j$，那么若$w_i=0$则$w_j=0$。（论文中所给的定理）
由这个定理可以得出一种方法：若将$\mathbf{v}$按照从大到小的形式重新排列，并且$\mathbf{w}$根据$\mathbf{v}$的重排进行相应的重排，那么可以知道若$w_i=0$，则$i$下标以后的所有值均为0。设重排后的向量为$w^{(1)}$和$v^{(1)}$代入等式约束中可以求出$\theta$的值，即由${\sum }_{i=1}^n{w}_i^{(1)}={\sum }_{i=1}^{\rho }{w}_i^{(1)}=z$可得到$\theta =\frac{1}{\rho }({\sum }_{i=1}^{\rho }{v}_i^{(1)}-z)$，其中$\rho$为重排后$\mathbf{w}$中大于0的元素的个数，即最后一个大于0的元素对应的下标。
而得到$\theta$后可以得到 w i = m a x { v i − θ , 0 } w_i=max\{v_i-\theta,0\} wi​=max{vi​−θ,0}。

step4

接下来需要确定一个最优的$\rho$，方法一是$\rho$从1到n进行枚举，可以认为是一个$O(n^2)$的复杂度。
方法二给出第二个定理：
定理二：若$\mathbf{w}$为最优解向量，那么可以得到$\rho$的计算式为：
ρ ( z , μ ) = m a x { j ∈ [ n ] : v j ( 1 ) − 1 j ( ∑ r = 1 j v r ( 1 ) − z ) > 0 } \rho(z,\mu)=max\{j\in[n]:v^{(1)}_j-\frac{1}{j}(\sum_{r=1}^jv^{(1)}_r-z)>0\} ρ(z,μ)=max{j∈[n]:vj(1)​−j1​(r=1∑j​vr(1)​−z)>0}
根据定理二的式子可以得出求$\rho$可以采用二分的方法，这样复杂度可以降到$O(nlogn)$。

因而整理下所有的思路为：
输入：向量$\mathbf{v}$和值$z>0$。

1. 首先将向量$\mathbf{v}$降序排列为${\mathbf{v}}^{(1)}$：$v_1^{(1)}>=v_2^{(1)}>=\cdots >=v_n^{(1)}$。
2. 二分寻找 ρ ( z , μ ) = m a x { j ∈ [ n ] : v j ( 1 ) − 1 j ( ∑ r = 1 j v r ( 1 ) − z ) > 0 } \rho(z,\mu)=max\{j\in[n]:v^{(1)}_j-\frac{1}{j}(\sum_{r=1}^jv^{(1)}_r-z)>0\} ρ(z,μ)=max{j∈[n]:vj(1)​−j1​(∑r=1j​vr(1)​−z)>0}。
3. 计算$\theta =\frac{1}{\rho }({\sum }_{i=1}^{\rho }{v}_i^{(1)}-z)$。
4. 得到输出： w i = m a x { v i − θ , 0 } w_i=max\{v_i-\theta,0\} wi​=max{vi​−θ,0}。