Feature Selection: A Data Perspective --阅读笔记2 传统数据的特征选择算法

论文的前一部分

FEATURE SELECTION ON CONVENTIONAL DATA

在本节中，我们根据所使用的技术对传统数据的传统特征选择算法进行了广泛的分类：

• 基于相似性（Similarity based Methods）；
• 基于信息理论（）;
• 基于稀疏学习;
• 基于统计;
• 其他方法。

Similarity based Methods

不同的特征选择算法利用各种类型的标准来定义特征的相关性。
基于相似性的方法：通过保存数据相似性的能力来评估特征的重要性。

• 对于有监督的特征选择，可以从标签信息导出数据相似性;
• 而对于无监督的特征选择方法，大多数方法利用不同的距离度量来获得数据相似性。

给定一个具有$n$个实例和$d$个特征的数据集$X∈R^{n×d}$，可以在一个相似度/亲和度（affinity）矩阵$S∈R^{n×n}$中编码具有相似性的对。假设我们希望选择$k$个最相关的特征$S$，一种方法是最大化它们的效用：$max_SU(S)$，其中$U(S)$表示特征子集S的效用。由于该系列中的算法经常单独评估特征，特征子集$S$上的效用最大化可以进一步分解为以下形式：

其中$U(f)$是特征$f$的效用（utility）函数。 $\hat{f}$表示原始特征向量 f