在机器学习的模型训练中,特征工程是非常重要的环节,虽然很多机器学习的相关书籍都把重要的篇幅放在了算法上,但是在实际的应用中,特征工程是非常重要的环节,甚至可以说是决定模型结果的关键。关于特征工程有一下几个问题需要搞清楚:1,为什么要进行特征工程 2,进行特征工程的方法有哪些。
1,为什么要进行特征工程
以非常经典的房价预测为例,影响房价的因素有很多,原始的数据集大约有几十个特征,那么我们这些特征我们都需要吗,可能有些因素与最终的房价相关度并不高,也有可能有的特征直接有冗余,这时就需要我们去掉一些特征。也有可能需要我们去根据现有特征去创造新的特征,面对不同的问题会有不同的解决方案,不可一概而论。
特征工程可以说实在寻找一种好的数据表示,初学者可能会有疑问,如果不进项特征工程会怎样,加入把原始的特征全部放到模型中,那么可能有些特征与最终的标签无关,或者关联很小,这样会使训练出来的模型过拟合,也就是特征太多,模型太复杂,这样训练出来的模型往往在训练集上表现很好,但是在测试集中往往表现不佳。这和数据中有大量异常值类似
关于机器学习中的特征共程
最新推荐文章于 2022-12-30 18:44:25 发布