天池精准医疗大赛——个人赛后总结（二）

一、特征选择说明

坊间常说，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。当你的数据分布足够好，特征工程足够好，即使用很简单的模型也能得到很好的结果。由此可见特征工程在机器学习中的重要程度不言而喻。一个关键特征（goldfeature）甚至可以让你前进几百名，特征选择（featureselection）也是这次比赛中我花费时间最多的部分。

二、特征选择的方法

（1）过滤式选择（Filter）：过滤式方法先对数据集进行特征选择，然后再训练学习期，特征选择过程与后续学习无关，这相当于先用特征选择过程对初始特征进行”过滤“，在用过滤后的特征来选择模型。过滤式特征选择的评价标准从数据集本身的内在性质获得，与特定的学习算法无关，因此具有具有较好的通用性。过滤式特征选择的研究者认为，相关度较大的特征或者特征自己会在分类器上获得较高的准确率，dash 和 liu把过滤式特征选择的评价标准分为四种，即距离度量，信息度量，关联度量以及一致性度量。具体的原理和内容可以在论坛上都有相关的资源，也感谢各位大佬的无私分享，这里就不再一一赘述，在做特征工程的时候大家也可以都尝试一下这些方法，选用效果较好的那一种。上篇文章我提到的所采用的皮尔逊系数属于一种关联度量，是过滤式选择的一种。

优点：