group lasso 块坐标下降
优化目标:
minx12||Ax−b||22+λ∑j=1J||xj||2 min x 1 2 | | A x − b | | 2 2 + λ ∑ j = 1 J | | x j | | 2
其中 A={ A1,…,AJ}∈Rn×m,x={ x1,…,xJ}∈Rm A = { A 1 , … , A J } ∈ R n × m , x = { x 1 , … , x J } ∈ R m
目标函数可以化简为:
====12||Ax−b||22+λ∑j=1J||xj||212(∑i∑jxTiATiAjxj−2bT∑iAixi+bTb)+λ∑j=1J||xj||2∑k(12(xTkATkAkxk+2∑i≠kxTiATiAkxk−2bTAkxk)+λ||xk||2)+bTb2∑k(12xkATkAkx