本文详细介绍了Lasso和Elastic Net两种机器学习模型在坐标下降法和ADMM法中的实现过程。针对每种方法，分别展示了目标函数、梯度计算、解方程的过程，并给出了θ的更新规则。通过这种方式，文章揭示了两种方法在求解过程中的一致性和差异性。
坐标下降法
Lasso
目标函数 J ( w ) = ∑ i = 0 N ( y i − ∑ j = 0 D w j h j ( x i ) ) 2 + λ ∑ j = 0 D ∣ w j ∣ J(w)=\sum_{i=0}^{N}\left(y_{i}-\sum_{j=0}^{D} w_{j} h_{j}\left(x_{i}\right)\right)^{2}+\lambda \sum_{j=0}^{D}\left|w_{j}\right| J(w)=i=0∑N(yi−j=0∑Dwjhj(xi))2+λj=0∑D∣wj∣
∂ J ( w ) ∂ w j = − 2 ∑ i = 1 N h j ( x i ) ( y i − ∑ j = 0 D w j h j ( x i ) ) + + ( λ ∑ j = 0 D ∣ w j ∣ ) ′ = − 2 ∑ i = 1 N h j ( x i ) ( y i − ∑ k ≠ j w k h k ( x i ) − w j h j ( x i ) ) + ( λ ∑ j = 0 D ∣ w j ∣ ) ′ = − 2 ∑ i = 1 N h j ( x i ) ( y i − ∑ k ≠ j w k h k ( x i ) ) + 2 w j ∑ i = 1 N h j ( x i ) 2 + ( λ ∑ j = 0 D ∣ w j ∣ ) ′ \begin{aligned} \frac{\partial J(w)}{\partial w_{j}}&=-2 \sum_{i=1}^{N} h_{j}\left(x_{i}\right)\left(y_{i}-\sum_{j=0}^{D} w_{j} h_{j}\left(x_{i}\right)\right) ++(\lambda \sum_{j=0}^{D}\left|w_{j}\right|)^{'}\\ &=-2 \sum_{i=1}^{N} h_{j}\left(x_{i}\right)\left(y_{i}-\sum_{k \neq j} w_{k} h_{k}\left(x_{i}\right)-w_{j} h_{j}\left(x_{i}\right)\right)+(\lambda \sum_{j=0}^{D}\left|w_{j}\right|)^{'} \\ &=-2 \sum_{i=1}^{N} h_{j}\left(x_{i}\right)\left(y_{i}-\sum_{k \neq j} w_{k} h_{k}\left(x_{i}\right)\right)+2 w_{j} \sum_{i=1}^{N} h_{j}\left(x_{i}\right)^{2}+(\lambda \sum_{j=0}^{D}\left|w_{j}\right|)^{'} \end{aligned} ∂wj∂J(w)=−2i=1∑Nhj(xi)(yi−j=0∑Dwjhj(xi))++(λj=0∑D∣wj∣)′=−2i=1∑Nhj(xi)⎝⎛yi−k=j∑wkhk(xi)−wjhj(xi)⎠⎞+(λj=0∑D∣wj∣)′=−2i=1∑Nhj(xi)⎝⎛yi−k=j∑wkhk(xi)⎠⎞+2wji=1∑Nhj(xi)2+(λj=0∑D∣wj∣)
最低0.47元/天 解锁文章
460
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
