文章目录
1. 特征工程思维导图
在机器学习应用中，特征工程扮演重要的角色，可以说特征工程时机器学习应用的基础。我们都知道，数据和特征决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已。
2. 特征提取
特征提取是对原数据进行变换的过程，我们首先将原始数据转化为实向量。原始数据有很多类型，比如数值类型、离散类型、文本、图像以及视频等等。将原始数据转化为实向量后，对应的特征空间不一定是最佳的特征空间。为了让模型更好地学习到数据中隐藏的规律，可能还需要对特征进行变换。
对于特征提取，我们一般可以先进行探索性数据分析，然后针对不同类型的特征，采取不同的提取方法。
2.1 探索性数据分析
探索性数据分析（Exploratory Data Analysis,EDA)是采用各种技术在尽量少的先验假设条件下，探索数据内部结构和规律的一种数据分析方法或理念。
EDA技术通常分为两类。一类是可视化技术，如箱形图、直方图、多变量图、链图、帕累托图、散点图、茎叶图、平行坐标、让步比、多为尺度分析、目标投影追踪、主成分分析、多线性主成分分析、降维、非线性降维等。另一类是定量技术，如样本均值、方差、分位数、峰度、偏度等。
2.2 数值特征
数值特征的数据具有实际测量意义，可分为离散型和连续型。数值特征常用的处理方法有：
- 截断：保留重要信息的前提下对特征进行截断、截断后的特征也可看做是类别特征。
- 二值化
- 分桶：常用的分桶方法有均匀分桶、分位数分桶。
- 缩放：常用的缩放方法又标准化缩放（均值为0，方差为1）、最大最小值缩放、范数归一化。
- 缺失值处理：处理方法常见的有补均值、补中位数或者直接丢弃
- 特征交叉：对两个数值变量进行加减乘除等操作。也可以通过FM、FFM等模型进行自动的特征交叉组合。
- 非线性编码：多项式核、高斯核或者使用树模型的叶结点进行非线性编码。
- 行统计量：均值、方差、最大值、最小值、偏度、峰度等。
2.3 类别特征
类别特征也就是我们常说的离散变量，常见的处理方法有：
- 自然数编码：给每一个类别分配一个编号。
- 独热编码：这是我们最常用的处理方法，即转换为one-hot。
- 分层编码：对于邮政编码或者身份证号等类别特征，可以取不同位数进行分层，然后按层次进行自然数编码。
- 散列编码：对于取值特别多的类别特征，可以先使用散列函数进行散列操作，避免特别系数。
- 计数编码：将类别特征用其对应的计数来代替。
- 计数排名编码：利用计数的排名对类别特征进行编码
- 目标编码：基于目标变量对类别特征进行编码
- 类别特征之间交叉组合
- 类别特征和数值特征之间交叉组合
2.4 时间特征
常用的时间特征有：年、月、日、时、分、秒、星期几、年的第几天、一天过了多少分钟、季度、是否闰年、是否季度初、是否季度末、是否周末、是否月度末、是否营业时间、是否节假日。
还有一种时间特征是基于滑动窗口的统计特征。
2.5 空间特征
经纬度、行政区ID、街道、城市、距离等等。
2.6 文本特征
对文本特征进行预处理，我们常用的流程有：将字符转换为小写、分词、去除无用字符、词性标注、提取词根、拼写纠错、词干提取、标点符号编码、文档特征、实体插入和提取、Word2Vec、文本相似性、去除停止词、去除稀有词、TF-IDF、LDA、LSA等。
3. 特征选择
特征选择是从我们提取的特征集合中选出一个子集。特征选择的目的有三个：
- 简化模型，使模型更易于研究人员和用户理解
- 改善性能
- 改善通用型、降低过拟合风险。
常用的特征选择方法有三类：过滤方法、封装方法和嵌入方法。
3.1 过滤方法
使用过滤方法进行特征选择不需要依赖于机器学习算法。主要分为单变量过滤方法和多变量过滤方法。常见的过滤方法有：
- 覆盖率计算每个特征的覆盖率。
- 皮尔逊相关系数：计算两个特征之间的相关性。
- Fisher得分：用于分类问题，好的特征应该在同一类别中取值比较相似，不同类别中差异较大。
- 假设检验
- 互信息：在概率论或者信息论中，互信息用来度量两个变量之间的相关性。互信息越大表明两个变量相关性越高。
- 最小冗余最大相关性：对根已选择特征的相关性较高的冗余特征进行惩罚。
- 相关特征选择CFS：好的特征集合包含与目标变量非常相关的特征，但这些特征之间彼此不相关。
3.2 封装方法
封装方法直接使用机器学习算法评估特征子集的效果。
常用的封装方法有：
- 完全搜索
- 启发式搜索：序列前向选择和序列后向选择
- 随机搜索
3.3 嵌入方法
嵌入方法将特征选择过程嵌入到模型的构建过程中。
常用的方法有LASSO回归、岭回归、树方法。
对于特征选择方法，总结如下：
扫一扫
4042
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
