1.特征工程的定义和意义
1.1 特征工程的定义
真正意义上的“端到端”模型应该不需要特征工程,“端到端”的输入即是原始数据。然而,“至少从目前的研究进展来看, 端到端更多发生在Vision, NLP这些领域。而这些领域都有大量的有效数据, 而且格式一般比较标准, 才能有效地进行端到端学习。”对于原始数据“不够好”的情况,需要在数据输入模型之前进行特征工程。
“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用”。从这句话理解,特征工程的输入是采集到的原始数据,输出是提取后的特征,该特征作为算法和模型的输入,那么特征工程的位置应该是机器学习(或神经网络)算法和模型的上游。
【图片来自于AutoML之自动化特征工程 | 一起大数据-技术文章心得】由下图可以看出特征工程(个人理解的是,数据清洗、特征提取、特征选择、降维都属于特征工程,下文会有更详细的技术分类)在机器学习流程中所处的位置。
1.2 特征工程的意义
【参考: