美团机器学习实践第二章-特征工程总结

思维导图如下：

在机器学习应用中，特征工程扮演重要的角色，可以说特征工程时机器学习应用的基础。我们都知道，数据和特征决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已。

1、特征提取

特征提取是对原数据进行变换的过程，我们首先将原始数据转化为实向量。原始数据有很多类型，比如数值类型、离散类型、文本、图像以及视频等等。将原始数据转化为实向量后，对应的特征空间不一定是最佳的特征空间。为了让模型更好地学习到数据中隐藏的规律，可能还需要对特征进行变换。

对于特征提取，我们一般可以先进行探索性数据分析，然后针对不同类型的特征，采取不同的提取方法。

1.1 探索性数据分析

探索性数据分析(Exploratory Data Analysis,EDA)是采用各种技术在尽量少的先验假设条件下，探索数据内部结构和规律的一种数据分析方法或理念。

EDA技术通常分为两类。一类是可视化技术，如箱形图、直方图、多变量图、链图、帕累托图、散点图、茎叶图、平行坐标、让步比、多为尺度分析、目标投影追踪、主成分分析、多线性主成分分析、降维、非线性降维等。另一类是定量技术，如样本均值、方差、分位数、峰度、偏度等。

1.2 数值特征

数值特征的数据具有实际测量意义，可分为离散型和连续型。数值特征常用的处理方法有：截断：保留重要信息的前提下对特征进行截断、截断后的特征也可看做是类别特征。二值化分桶：常用的分桶方法有均匀分桶、分位数分桶。缩放：常用的缩放方法又标准化缩放(均值为0，方差为1)、最大最小值缩放、范数归一化。缺失值处理：处理方法常见的有补均值、补中位数或者直接丢弃特征交叉：对两个数值变量进行加减乘除等操作。也可以通过FM、FFM等模型进行自动的特征交叉组合。非线性编码：多项式核、高斯核或者使用树模型的叶结点进行非线性编码。行统计量：均值、方差、最大值、最小值、偏度、峰度等。

1.3 类别特征

类别特征也就是我们常说的离散变量，常见的处理方法有：自然数编码：给每一个类别分配一个编号。独热编码：这是我们最常用的处理方法，即转换为one-hot。分层编码：对于邮政编码或者身份证号等类别特征，可以取不同位数进行分层，然后按层次进行自然数编码。散列编码：对于取值特别多的类别特征，可以先使用散列函数进行散列操作，避免特别系数。计数编码：将类别特征用其对应的计数来代替。计数排名编码：利用计数的排名对类别特征进行编码目标编码：基于目标变量对类别特征进行编码类别特征之间交叉组合类别特征和数值特征之间交叉组合

1.4 时间特征

常用的时间特征有：年、月、日、时、分、秒、星期几、年的第几天、一天过了多少分钟、季度、是否闰年、是否季度初、是否季度末、是否周末、是否月度末、是否营业时间、是否节假日。

还有一种时间特征是基于滑动窗口的统计特征。

1.5 空间特征

经纬度、行政区ID、街道、城市、距离等等。

1.6 文本特征

对文本特征进行预处理，我们常用的流程有：将字符转换为小写、分词、去除无用字符、词性标注、提取词根、拼写纠错、词干提取、标点符号编码、文档特征、实体插入和提取、Word2Vec、文本相似性、去除停止词、去除稀有词、TF-IDF、LDA、LSA等。

2、特征选择

特征选择是从我们提取的特征集合中选出一个子集。特征选择的目的有三个：
1、简化模型，使模型更易于研究人员和用户理解
2、改善性能
3、改善通用型、降低过拟合风险。

常用的特征选择方法有三类：过滤方法、封装方法和嵌入方法。

2.1 过滤方法

使用过滤方法进行特征选择不需要依赖于机器学习算法。主要分为单变量过滤方法和多变量过滤方法。常见的过滤方法有：覆盖率计算每个特征的覆盖率。皮尔逊相关系数：计算两个特征之间的相关性。Fisher得分：用于分类问题，好的特征应该在同一类别中取值比较相似，不同类别中差异较大。假设检验互信息：在概率论或者信息论中，互信息用来度量两个变量之间的相关性。互信息越大表明两个变量相关性越高。最小冗余最大相关性：对根已选择特征的相关性较高的冗余特征进行惩罚。相关特征选择CFS：好的特征集合包含给目标变量非常相关的特征，但这些特征之间彼此不相关。

2.2 封装方法

封装方法直接使用机器学习算法评估特征子集的效果。

常用的封装方法有：完全搜索启发式搜索：序列前向选择和序列后向选择随机搜索

2.3 嵌入方法

嵌入方法将特征选择过程嵌入到模型的构建过程中。

常用的方法有LASSO回归、岭回归、树方法。

对于特征选择方法，总结如下：