特征选择relief算法介绍

特征选择relief算法介绍

特征选择的基础了解：（可以参考：一篇关于特征选择的博客）
特征选择过程一般包括：特征子集产生过程，评价函数，停止准则，验证过程。

1 特征子集选择过程：
根据搜索过程的方法的不同，可以将特征选择分为穷举、启发式、随机几种方法。以上几种方法不改变特征的原始属性，而有些方法通过对特征进行空间变换，去除相关性。比如PCA、傅立叶变换、小波变换等。

2 每种评价函数各有优劣，所以需要根据实际情况进行选择。根据不同的评价准则，可以分为：过滤器（Filter）模型、封装器(wrapper)模型以及混合模型。过滤器模型是将特征选择作为一个预处理过程，利用数据的内在特性对选取的特征子集进行评价，独立于学习算法。而封装器模型则将后续学习算法的结果作为特征评价准则的一部分根据评价函数的不同(与采用的分类方法是否关联)，可以将特征选择分为独立性准则、关联性度量。

当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说，从两个方面考虑来选择特征：
特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。
特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选