Lasso回归的坐标下降法推导

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012151283/article/details/77487729

目标函数

Lasso相当于带有L1正则化项的线性回归。先看下目标函数:RSS(w)+λw1=i=0N(yij=0Dwjhj(xi))2+λj=0DwjRSS(w)+\lambda \Vert w\Vert_1=\sum_{i=0}^{N}(y_i-\sum_{j=0}^D{w_jh_j(x_i)})^2+\lambda \sum_{j=0}^{D}|w_j|
这个问题由于正则化项在零点处不可求导,所以使用非梯度下降法进行求解,如坐标下降法或最小角回归法。

坐标下降法

本文介绍坐标下降法。
坐标下降算法每次选择一个维度进行参数更新,维度的选择可以是随机的或者是按顺序。
当一轮更新结束后,更新步长的最大值少于预设阈值时,终止迭代。

下面分为两部求解

RSS偏导

在这里插入图片描述
下面做一下标记化简
ρj=i=1Nhj(xi)(yikjwkhk(xi))\rho_j=\sum_{i=1}^Nh_j(x_i)(y_i-\sum_{k \neq j }w_kh_k(x_i))
zj=i=1Nhj(xi)2z_j=\sum_{i=1}^N h_j(x_i)^2
上式化简为wjRSS(w)=2ρj+2wjzj\frac{\partial}{\partial w_j}RSS(w)=-2\rho_j+2w_jz_j

正则项偏导

次梯度方法(subgradient method)是传统的梯度下降方法的拓展,用来处理不可导的凸函数。
这里写图片描述
λwjwj={λwj<0[λ,λ]wj=0λwj>0\lambda \partial_{w_j}|w_j|= \begin{cases} -\lambda&w_j<0\\ [-\lambda,\lambda]& w_j=0\\ \lambda&w_j>0 \end{cases}

整体偏导数

λwj[lasso cost]=2zjwj2ρj+{λwj<0[λ,λ]wj=0λwj>0={2zjwj2ρjλwj<0[2ρjλ,2ρj+λ]wj=02zjwj2ρj+λwj>0\lambda \partial_{w_j}\text{[lasso cost]}= 2z_jw_j-2\rho_j+ \begin{cases} -\lambda&w_j<0\\ [-\lambda,\lambda]& w_j=0\\ \lambda&w_j>0 \end{cases}\\ =\begin{cases} 2z_jw_j-2\rho_j-\lambda&w_j<0\\ [-2\rho_j-\lambda,-2\rho_j+\lambda]& w_j=0\\ 2z_jw_j-2\rho_j+\lambda&w_j>0 \end{cases}
要想获得最有解,令

λwj[lasso cost]=0\lambda \partial_{w_j}\text{[lasso cost]}=0
解得,
w^j={(ρj+λ/2)/zjρj<λ/20ρj in [λ/2,λ/2](ρjλ/2)/zjρj>λ/2\hat w_j= \begin{cases} (\rho_j+\lambda/2)/z_j&\rho_j<-\lambda/2\\ 0& \rho_j\text{ in }[-\lambda/2,\lambda/2]\\ (\rho_j-\lambda/2)/z_j&\rho_j>\lambda/2 \end{cases}
这里写图片描述

伪代码

预计算zj=i=1Nhj(xi)2z_j=\sum_{i=1}^N h_j(x_i)^2
初始化参数w(全0或随机)
循环直到收敛:

for j = 0,1,…D
$ \space \space\space\space\rho_j=\sum_{i=1}^Nh_j(x_i)(y_i-\sum_{k \neq j }w_kh_k(x_i))$
    update wj\space \space\space\space update\space w_j
选择变化幅度最大的维度进行更新

概率解释

拉普拉斯分布

随机变量XLaplace(μ,b)X\sim Laplace(\mu,b),其中μ\mu是位置参数,b>0b>0是尺度参数。
概率密度函数为
f(xμ,b)=12bexp(xμb)f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})

MAP推导

假设ϵiN(0,σ2)\epsilon_i\sim N(0,\sigma^2)wiLaplace(0,1λ)w_i\sim Laplace(0,\frac{1}{\lambda})
在这里插入图片描述

等价于

没有更多推荐了,返回首页