特征选择

2019/03/06
问：如果我用某种算法得到的特征特征选择结果，可以用给别的分类器吗？
问：特征选择一定能

---

现在说一下我目前对特征选择的理解。

特征选择：区别于特征抽取，通过选择原始特征数据的子集，以提高后面分类器的性能，或者加深整体上对问题的理解（某特征或者某属性对输出变量的影响）

在我看来，选择特征的过程，就是评估特征的过程，哪一个特征对输出变量的影响大，就选择哪一个；这个时候就涉及到各种评价指标，那么选取不同的，有些论文也会涉及这种不同的评价指标来进行测试。

文章[1]利用代码介绍了这个部分的内容，文章[2]提到了应该将特征选择放置在嵌套式（是叫这个名字吧）交叉验证的内部，但我一致没有见过这样做的；另外，就是文章[2]提到，特征选择最好是作为和模型选择一样的内容来对待，这句话我不是很明白，因为很多论文，很多kernel都是将特征选择作为预处理的阶段来处理的。

---

2019/03/11
对特征选择的方式还是理解不够深入，比较大的一个问题是不知道整体的步骤是什么样的。
“特征工程-特征选择-模型选择-模型调优”暂时是想以这种方式来推进。下面的两张图比较形象[3]。

 

 

机器学习流程[3]

 

特征选择的框架[3]

从sklearn上来看，他的算法那并不
近期要进行的一个学习和实验就是完整的进行一次这个特征选择的过程。
先从过滤式的算法开始。（2019/03/11）
妈的，没有什么实验效果怎么办，这就很尴尬。我类个乖乖。
（2019/03/12）
下载了一个用来做这个实验的库，真的是死慢死慢的。去网上找了下这个部分的内容基本上没有。（2019/03/12）
然后结果我在调整这个特征选择得个数的时候，发现他的准确率变化，这就很尴尬。但是我感觉，这个是不是也是一个效果，我即使特征减少了，他的效果还是这么多？这个是不是就是指明那些去掉的都是没什么屌用的。

https://pypi.org/project/ReliefF/#description

2019/04/18
关于降维的一些内容，可以看文章[5]，但他没有实质的代码。
文章[6]中提到了一些特征选择的办法。

[1]feature-selection-machine-learning-python/
[2]an-introduction-to-feature-selection/
[3]J. Tang, S. Alelyani, and H. Liu, “Feature Selection for Classification: A Review,” p. 33.
[4]一个python的特征选择库。https://github.com/jundongl/scikit-feature
[5]dimensionality-reduction-algorithms
[6]why-how-and-when-to-apply-feature-selection