优化目标
其中
求导,得到
其中
得到
对于在深度学习中group LASSO而言来压缩的时候,问题转换为求解:
其中 是可学习参数,可以看做是一个向量。 是training loss,
是正则化项。
把 分为 组,来做LASSO,有
,也就是说对每一组内部使用norm,形成一个 元向量,然后再这 元向量使用
norm。因为 norm肯定是大于等于零的了,所以外层不需要加绝对值了。
一般来说, 是一个神经网络,属于严重非凸问题,可以用model function来近似,问题就转换为:
进而问题转换为求解
也即求解:
这个问题可以把每个group分开来求解。变为求解
求得 ,
if , else 0
证明如下
下面证明一个定理
其证明过程在