[坑]基于局部学习的高维数据特征选择

1、引言

训练集： D = { ( x n , y n ) } n = 1 N ⊂ R J × { ± 1 } \mathcal{D}=\left\{\left(\mathbf{x}_{n}, y_{n}\right)\right\}_{n=1}^{N} \subset \mathbb{R}^{J} \times\{\pm 1\} D={(xn​,yn​)}n=1N​⊂RJ×{±1}
特征维度 $J$ 比样本数 $N$ 大得多。

2、方法

最近，想用局部学习应用到回归中，有空再实现一下。

3、总结

启发嘛，应该很多，暂时没想到几个：

1. 找不到最近的样本的时候，可以用个期望来算，就是把所有样本是最近样本的概率加权平均起来
2. 当解决一个问题无法下手的时候，可以用这个方法：
   要优化的变量w,中间量f(w),目标函数g(w,f)。
   初始化w，迭代：
3. 求f(w)；
4. 固定f，求g(w,f)对w的极值（梯度下降）w’
5. 更新w=w+a×w’

---

参考：

1. 基于局部学习的特征选择：Local-Learning-Based Feature Selection for High-Dimensional Data Analysis