论文笔记_21范数:Efficient and Robust Feature Selection via Joint 21Norms Minimization

转载请注明https://blog.csdn.net/l317820483/article/details/84866200

Abstract

• 特征选择在机器学习中非常重要，尤其是在生物信息学任务中。
• 本文提出一种新的鲁棒特征选择方法，这一方法核心在于在损失函数核正则化项中联合使用21范数。
• 基于21范数的损失函数对于数据点中的异常值具有较好的鲁棒性，而基于21范数的正则化项则可以选择所有数据点稀疏的特征。
• 本文证明了算法的收敛性。同时通过实验结果证明了方法的性能。

Introduction

• 一般来说，特征选择有三种模型：1.滤波方法，通过独立的分类器进行特征选择；2.包装方法，将预测方法作为一个黑盒，对特征的子集进行打分；3.嵌入式方法，将特征选择的过程直接嵌入在训练过程中。
• 本文采用了基于21范数的损失函数来消除异常值，因为基于2范数的损失函数对异常值敏感。
• 提出了基于21范数的正则化项，通过带有连接稀疏性的数据点选择特征，即每个特征对于所有的数据点要么具有较小的分数要么具有较大的分数。

Notations and Definitions

• 给出了21范数的定义：
• 21范数对于行来说具有旋转不变性:$||MR|{|}_{2,1}=||M|{|}_{2,1}$
• 将21范数推广到了rp范数：

Robust Feature Selection Based on 2,1-Norms

• 以最小二乘回归为例，目标函数如下：$$\underset{W}{\min }\Vert W^T{x}_i-y_i{\Vert }_2+\gamma R(W)$$
• 正则化项R(W)有以下几种选择：
  $$R_1(w)=\Vert W{\Vert }^2,R_2(w)=\sum _{j=1}^c\Vert w_j{\Vert }_1,R_3(w)=\sum _{j=1}^d\Vert w^i{\Vert }_2^0,R_4(w)=\sum _{j=1}^d\Vert w^i{\Vert }_2$$
  (关于正则化可以看这个https://blog.csdn.net/zouxy09/article/details/24971995)
• R3的0范数是最理想的，但是本文使用R4代替，因为一方面R4的1范数是凸的并且很容易优化（本文贡献）。另一方面0范数的结果与实际条件下的1范数结果相同或近似相同。

An Efficient Algorithm

Reformulation as A Constrained Problem

• 目标函数转化为如下形式：$$\underset{U}{\min }\Vert U{\Vert }_{2,1}s.t.AU=Y$$
• 现有算法通常将其重新表述为二阶锥规划（SOCP）或半定规划（SDP）问题，进而可以通过内点法或约束法求解。但是这些方法计算复杂。
• 也有文献将问题重述为min-max问题，应用近端梯度法解决。这一方法更有效但是收敛速度非常慢，而且只能解决特定问题。
• 下文将提出一个简单而有效的方法来解决这一问题，同时可以保证收敛到全局最优。

An Efficient Algorithm to Solve the Constrained Problem

• 算法主要基于拉格朗日方法，构造拉格朗日函数如下：$$\mathcal{L}(U)=\Vert U{\Vert }_2,1-Tr({\Lambda }^T(AU-Y))$$
• 进一步推导如下：（懒得敲公式了哈哈哈）
  
• 注意到D是由U得到的，因此给出了迭代求解的算法如下：
  

Algorithm Analysis

• 这一部分证明了算法将使目标函数收敛到全局最优值，证明略。

Experimental Results

• 通过实验证明了算法的有效性，实验及结果略。

Conclusions

• 本文提出了一种全新的高效且具有鲁棒性的特征选择方法，通过在损失函数和正则化项中使用21范数并结合优化，取得了较好的效果，同时具有较好的鲁棒性。本文还给出了一种有效的优化求解算法，并证明了这一算法将使目标函数收敛到全局最优值