论文阅读报告：Laplacian Score for Feature Selection，Xiaofei He、Deng Cai and Partha Niyogi（2005）

0. LS

Laplacian Score（LS），中文名称 拉普拉斯分数。

1. 拉普拉斯分数

Laplacian Score 是一个对一个训练集样本的特征进行打分的算法。通过这个算法可以给每一个特征打出一个分数，最后再取分数最低的 $k$ 个特征作为最后选择的特征子集，是标准的 Filter 式方法。

2. 算法

整个 Laplacian Score 分成 4 个步骤，分别对应于下面的 4 个小节。

令 $L_r$ 表示第 $r$ 个特征的 Laplacian Score。
令 $f_{ri}$ 表示第 $r$ 个特征的第 $i$ 个样本（$i=1,\dots ,m$）。

2.1. 构建连通图

构建一个 $m$ 个节点的最近邻图 $G$。第 $i$ 个节点对应于 ${\mathbf{x}}_i$。如果 ${\mathbf{x}}_i$ 和 ${\mathbf{x}}_j$ 是接近的，比如 ${\mathbf{x}}_i$ 在 ${\mathbf{x}}_j$ 的 $k$ 个最近邻中，或者 ${\mathbf{x}}_j$ 在 ${\mathbf{x}}_i$ 的 $k$ 个最近邻中，则在节点 $i$ 和 $j$ 之间放一条边。当标签信息已知时，两个相同标签的节点可以放一条边。

用公式表示：
对于无监督学习（Unsupervised Learning） –
$$G_{m\times m}:(G_{ij})=\{\begin{array}{ll}1,& \text{if }{\mathbf{x}}_i\text{ close to }{\mathbf{x}}_j;\\ 0,& \text{otherwise}.\end{array}$$

对于监督学习（Supervised Learning） –
$$G_{m\times m}:(G_{ij})=\{\begin{array}{ll}1,& \text{if }{l}_r=l_j;\\ 0,& \text{otherwise}.\end{array}$$

2.2. 权重矩阵

如果节点 $i$ 和 $j$ 是连接的，则置 $S_{ij}=e^{-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2}{t}}$，其中 $t$ 是一个合适的常数。否则的话，置 $S_{ij}=0$。图的权重矩阵 $S$ 对数据空间的局部结构进行建模。

用公式表示：
$$S_{m\times m}:(S_{ij})=\{\begin{array}{l}{e}^{-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2}{t}},\text{if }{G}_{ij}=1;\\ 0,\text{otherwise}.\end{array}$$

2.3. 图拉普拉斯

对于第 $r$ 个特征，定义

${\mathbf{f}}_r=[f_{r1},f_{r2},\dots ,f_{rm}{]}^T$, $D=diag(S1)$, $1=[1,\dots ,1{]}^T$,$L=D-S$

其中，矩阵 $L$ 通常被称为图拉普拉斯。
令
$${\tilde{\mathbf{f}}}_r={\mathbf{f}}_r-\frac{{\mathbf{f}}_r^{T}D1}{1^{T}D1}1$$

2.4. 拉普拉斯分数

第 $r$ 个特征的拉普拉斯分数如下：
$$L_r=\frac{{\tilde{\mathbf{f}}}_r^{T}L{\tilde{\mathbf{f}}}_r}{{\tilde{\mathbf{f}}}_r^{T}D{\tilde{\mathbf{f}}}_r}$$

3. 目标函数

回想一下，在给定数据集的情况下，我们构建了一个加权图 $G$，它的边将临近的点彼此连接。$S_{ij}$ 评估第 $i$ 个节点和第 $j$ 个节点之间的相似性。特征的重要性可以视为其尊重图结构的程度。具体地讲，一个“好”的特征应该是当且仅当这两个数据点之间存在边时，两个数据点彼此接近的功能。选择良好特征的合理标准是最小化以下目标函数：
$$L_r=\frac{{\sum }_{ij}{\left(f_{ri}-f_{rj}\right)}^2{S}_{ij}}{Var\left({\mathbf{f}}_r\right)}$$

$$\min L_r$$

因此，特征的拉普拉斯分数，越小越好。

4. 证明

未完待续……

5. 出处

1. NIPS’05: Proceedings of the 18th International Conference on Neural Information Processing SystemsDecember 2005 Pages 507–514