我在这节视频观看到的选择好的特征,仅仅是观察得到的一些结论,并没有涉及到很复杂的特征选择问题,什么信息熵什么互信息等等概念,只是从特征本身,观察的到的,其实这些都可以通过数学的或者信息论的知识进行推导,但这节我们不讨论。
对于分类问题,简单点来说,那些有利于我们区分的特征就是好的特征。那些不利于我们判断,甚至混淆我们的感官,带来一些没用的信息,加重我们的分析的特征就是不好的特征。
对于如何选择好的特征,讲到了三点:
1、避免无意义的特征
例如:对于区分金毛和吉娃娃来说,颜色就不是一个好的特征。
2、避免重复性的特征
例如:房屋预测问题中,房子的长、宽、面积,显然长和宽是一组重复性的特征。(当然没有考虑一些其他情况)
3、避免复杂的特征
例如:预测小明从家到学校的时间,存在距离、经纬度两个属性,显然处理经纬度更加麻烦。