group lasso 块坐标下降

group lasso 块坐标下降

优化目标:

minx12||Axb||22+λj=1J||xj||2

其中A={A1,,AJ}Rn×m,x={x1,,xJ}Rm

目标函数可以化简为:

12||Axb||22+λj=1J||xj||2=12(ijxiTAiTAjxj2bTiAixi+bTb)+λj=1J||xj||2=k(12(xkTAkTAkxk+2ikxiTAiTAkxk2bTAkxk)+λ||xk||2)+bTb2=k(12xkAkTAkxk+(ikxiTAiTbT)Akxk+λ||xk||2)+bTb2=k(12xkTMkxk+pkTxk+λ||xk||2)+bTb2

其中Mk=AkTAk,pkT=(ikxiTAiTbT)Ak

根据块坐标下降,每次取定一个k后,求解以下优化问题:

minxk12xkTMkxk+pkTxk+λ||xk||2

由一阶最优解条件知:
Mkxk+pk+λg(xk)=0

其中g(xk)表示||x||2xk处的次梯度

xk0时,g(xk)=xk||xk||2||x||2xk处的次梯度

因为y,由次梯度定义有

||y||2||xk||2+xkT||xk||2(yxk)=||xk||2+yTxk||xk||2xkTxk||xk||2=||y||2cosθ

恒成立,因此g(xk)=xk||xk||2||x||2xk处的次梯度

xk=0

  1. ||pk||2λ,可知pkTxk+λ||xk||20,从而可知xk=0是最优解

    因为xk,想要pkTxk+λ||xk||20,考虑

    pkTxk+λ||xk||2=pkTxk||xk||2||xk||2+λ||xk||2=(pkTxk||xk||2+λ)||xk||2(||pk||2+λ)||xk||20

    则一个充分条件是||pk||2λ

  2. xk=0为最优解,则由一阶最优解条件知, g0||xk||2xk=0处的次梯度,满足

  3. Mkxk+pk+λg0=0

    又由于此时xk=0,故有pk+λg0=0,所以||pk||2=λ||g0||2λ

    下证||g0||21,由次梯度定义知,||xk||2xk=0处的次梯度满足

    ||xk||2||0||2||0||2+g0T(xk0)xk


    ||xk||2g0Txk=||g0||2||xk||2cosθxk

    因此可知||g0||21

综上可知,xk=0是最优解的充分必要条件是||pk||2λ

因此当xk0时,由一阶最优解条件知

Mkxk+pk+λxk||xk||2=0


xk=(Mk+λ||xk||2I)1pk

块坐标下降算法如下:

  1. 任意选定k
  2. 计算pk
  3. ||pk||2λ,则xk=0,否则xk=(Mk+λ||xk||2I)1pk
阅读更多
个人分类: 优化算法
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

group lasso 块坐标下降

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭