Lasso模型的求解方法：坐标下降法
-
目标函数形式： min β 1 2 N ∑ i = 1 N ( y i − β z i ) 2 + λ ∣ β ∣ ( λ > 0 ) \min\limits_{\beta}{\frac{1}{2N}\sum\limits_{i=1}^{N}(y_i-\beta z_i)^2+\lambda|\beta|}\quad(\lambda>0) βmin2N1i=1∑N(yi−βzi)2+λ∣β∣(λ>0)
-
当 λ > 0 \lambda >0 λ>0时目标函数是凸函数
-
单变量情况下：
β ^ = { 1 N < z , y > − λ , if 1 N < z , y > > λ 0 , if 1 N ∣ < z , y > ∣ < λ 1 N < z , y > + λ , if 1 N < z , y > < − λ \hat\beta=\begin{cases} \frac{1}{N}<z,y>-\lambda,&\text{if$\frac{1}{N}<z,y>>\lambda$}\\ 0,&\text{if$\frac{1}{N}|<z,y>|<\lambda$}\\ \frac{1}{N}<z,y>+\lambda,&\text{if$\frac{1}{N}<z,y><-\lambda$} \end{cases} β^=⎩⎪⎨⎪⎧N1<z,y>−λ,0,N1<z,y>+λ,ifN1<z,y>>λifN1∣<z,y>∣<λifN1<z,
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
