机器学习--坐标轴下降法

推导

坐标轴下降法的思路就是每次选择一个维度，固定其他维度，然后使选择的这个维度达到最优，然后反复的这么做直到收敛。

比如有一个函数 $g(x_1,x_2,...,x_n)$，我们想用坐标轴下降的对其进行优化。
那么就有：
第一步，先固定一个维度，比如说固定$x_2$，此时除了$x_2$以外，其它的数字都是常量。
第二步，我们对$x_2$求导，然后令导数等于零求出一个极大值。
第三步，如果没有收敛就重复1,2步，否则收敛结束算法。

接下来我们使用坐标轴下降法来求解LASSO。
设有n个样本 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } \{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\} {(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}，我们使用简单线性模型+L1正则。
其中每个样本$x_i$有m个特征。
得到
$$L(W,b)=\sum _{i=1}^n[(\sum _{j=1}^m{x}_{ij}{w}_j+b)-y_i{]}^2+\lambda \sum _{i=1}^m|w_i|$$
其中w为权重，b为偏置, $\lambda$为惩罚系数。
我们首先固定某个维度$w_l$，然后进行求导
$$\frac{dL(W,b)}{d{w}_l}=2\sum _{i=1}^n[(\sum _{j=1}^m{x}_{ij}{w}_j+b)-y_i]x_{il}+\frac{d(\lambda {\sum }_{i=1}^m|w_i|)}{d{w}_l}$$

我们对式子进行整理。把所有的$w_l$ 项进行合并。
$$\frac{dL(W,b)}{d{w}_l}=2\sum _{i=1}^n[(\sum _{j\ne l}^m{x}_{ij}{w}_j+b)+x_{il}{w}_l-y_i]x_{il}+\frac{d(\lambda {\sum }_{i=1}^m|w_i|)}{d{w}_l}$$
进一步合并
$$\frac{dL(W,b)}{d{w}_l}=2\sum _{i=1}^n[(\sum _{j\ne l}^m{x}_{ij}{w}_j+b)-y_i]+2w_l\sum _{i=1}^n{x}_{il}^2+\frac{d(\lambda {\sum }_{i=1}^m|w_i|)}{d{w}_l}$$
然后可以发现，前两项中，有两个常数，我们设
$$\begin{gathered} 2\sum _{i=1}^n[(\sum _{j\ne l}^m{x}_{ij}{w}_j+b)-y_i]=a \\ 2\sum _{i=1}^n{x}_{il}^2=b \end{gathered}$$
就有
$$\frac{dL(W,b)}{d{w}_l}=a+w_{l}b+\frac{d(\lambda {\sum }_{i=1}^m|w_i|)}{d{w}_l}$$
此时就需要分情况讨论

1. 当$w_l>0$时
   $\frac{dL(W,b)}{d{w}_l}=a+w_{l}b+\lambda$
2. 当$w_l<0$
   $\frac{dL(W,b)}{d{w}_l}=a+w_{l}b-\lambda$
3. 当$w_l=0$，此时不可导，我们认为结果应该介于上两者之间
   $a+w_{l}b-\lambda \le \frac{dL(W,b)}{d{w}_l}\le a+w_{l}b+\lambda$

我们令$\frac{dL(W,b)}{d{w}_l}=0$得
$$w_l=\frac{-a-\frac{d(\lambda {\sum }_{i=1}^m|w_i|)}{d{w}_l}}{b}$$

1. 当$w_l>0$此时$\frac{-a-\lambda }{b}>0$，由于$b>0$所以此时$\lambda +a<0$
   有$w_l=\frac{-a-\lambda }{b}$

2. 当$w_l<0$此时，由于$b>0$所以此时$a-\lambda >0$
   有$w_l=\frac{-a+\lambda }{b}$

3. 当$w_l=0$时，此时$-\lambda \le a\le \lambda$
   $w_l=0$

然后就可以更新$w_l$了，反复的迭代下去直到收敛。
从上式也可以看出，当a落到了某个区间时$w_l$就会被赋值为0，从而达到了稀疏的效果。