机器学习|二进制粒子群优化算法应用于特征选择问题

1.特征选择

比如有一个M行（N+1）列的数据集，每一行代表一组数据，对于每一列，前N列代表N个特征，最后一列代表这组数据的标签。

那么，对于特征选择问题，就是要找到这N个特征的一个尽可能小的子集，然后通过这个子集中的特征进行学习，可以确保正确率较高的分类结果。（分类的结果是否正确通过查看第N+1列的标签与预测的哪组数据在哪个类里是否相同）

所以，特征选择问题本质上就是选择一个合适的0/1串。串的长度是原始数据集中的特征个数N，0是不被选择的属性，而1是被选择的属性。

2.粒子群优化算法（Particle Swarm Optimization，PSO）

这是人们由鸟类觅食的集群活动的启发而提出来的一个启发式算法。首先，我们知道寻找一个合适的0/1串最简单也最全面的方法就是暴力枚举，也就是把所有的取值都计算一遍，这样是不现实的。共有2的N次方种可能，是一个NP-Hard问题。启发式算法就是在部分解中寻找一个最优解，当然这是一个局部最优解。但是，由于它只选择了部分解，因此时间空间开销都是较小的。

粒子群优化算法的思想是：假设空间中有一些粒子随机的分布在不同的空间位置上，每个粒子有两个属性——位置和速度。这两个属性的初始值都是随机的。每个粒子维护一个自身的最优点pbest（最优指的是适应度函数取得最优时的位置值），整个粒子群维护一个全局的最优点gbest（即所有粒子的pbest对应的适应度函数最大的那一个）。然后进行迭代，迭代的过程可以描述为粒子按照自身