特征工程
1、数据降维
2、特征提取
3、特征选择
一、数据降维
一、特征工程
特征工程是一个很大的概念,实在找不到合适的词,语句来描述特征工程。为了直观的学习特征工程,还是从特征工程处理的流程来窥视特征工程为何物?
1、数据的生成,这部分严格意义上说不属于特征工程范畴。因为数据都没有的话,谈何学习,但是数据即是特征,如何生成数据也是特征生成的过程。在工程上,数据的生成是非常重要的部分,也称特征构建。
2、数据预处理,缺损值,特征编码,归一化/标准化,数据清洗(异常点)
3、特征提取和选择
一般来说,特征工程之后的特征作为模型学习的输入。在特征工程中,特征提取和特征选择一般通过模型去学习,所以特征工程本身就涉及到模型。这里,笔者理解特征工程为特征表示,是对数据的一种表示。其中,数据生成和数据预处理比较泛,没有相对严格的处理方式,经验性较强。特征提取和特征选择则有非常多成熟的方法,一般来讲特征提取和特征选择是一个数据降维的过程。
二、数据降维
数据降维有以下几点好处:
1、避免维度灾难,导致算法失效,或者时间复杂度高
2、避免高维数据中引入的噪声,防止过拟合
3、压缩存储,可视化分析
数据降维的方法有特征提取和特征选择两