系数除了稀疏性以外,还具有某种结构属性(Line/Tree/Graph 结构等等)。 Group sparsity Multi-Task Learning Group Sparsity及其变种证明了它比standard sparsity要好。但缺乏理论证明为什么会如此,因此作者提出一个strong group sparsity的理论框架。
在实际的应用中,我们除了知道系数向量是稀疏的,可能还知道它存在某种结构属性,例如下面将会介绍的Line结构,树结构,图结构等等。 这些工作之前都有人进行过研究,主要的方法就是group sparsity的方法和multi-task learning的方法。 什么是group sparsity呢?一般是指non-overlapping group sparsity,即将系数变量分为几个groups,每个group之间是没有重叠的。这是最一般的情况。 Group sparsity的正则化项是L21范数,即一次惩罚一个group,这个group里面的所有系数都为0,而不被惩罚的那些groups的系数都不为零,因为 2范数不保证稀疏。这就是group sparsity的最一般形式。 除了group sparsity之外,multi-task learning的模型也是类似的表达。 在他的另一篇论文the benefit of group sparsity里面,他提出了一个strong group sparsity的理论框架,目的是为了说明,在什么条件下,group lasso 的结果比standard lasso的结果要好。主要使用group sparsity去度量一个稀疏信号的复杂度,不只是系数的稀疏性。理论证明较复杂,短时间内实在是 无法理解。