机器学习：特征工程之特征提取

第一部分：特征工程

一.概念

1.“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这句话很好的阐述了数据在机器学习中的重要性。大部分直接拿过来的数据都是特征不明显的、没有经过处理的或者说是存在很多无用的数据，那么需要进行一些特征处理，特征的缩放等等，满足训练数据的要求。
2.特征工程的过程：从数据中抽取出对预测结果有用的信息，通过专业的技巧进行数据处理，使特征能在机器学习算法中发挥更好的作用。
注：优质的特征往往描述了数据的固有结构。 最初的原始特征数据集可能太大，或者信息冗余，因此在机器学习的应用中，一个初始步骤就是选择特征的子集，或构建一套新的特征集，减少功能来促进算法的学习，提高泛化能力和可解释性。

二.意义

对数据进行特征工程，是为了获得有代表性的特征，只需用简单模型，得到更好的结果。

三.特征处理

对已有的数据进行运算达到目标的数据标准，特征预处理包括：单个特征和多个特征。
单个特征：归一化、标准化、缺失值；
多个特征：降维，如PCA。

第二部分：特征提取

一.特征抽取

将任意数据格式（例如文本和图像）转换为机器学习的数字特征。
很多特征都不是连续变量，比如分类、文字、图像等，为了对非连续变量做特征表述，需要对这些特征做数学化表述。其中sklearn.feature_e