【听课笔记】数据挖掘竞赛——特征工程中的开发与技巧
写在前面
有机会在老师的指引下听了下此次
【课程:特征工程中的开发与技巧】
。课程主要是由近期一场温室温度数据预测比赛的大佬,分享了他在这次比赛实战中取得优异成绩的方法与技巧。是非常好的学习资源,故在这里用博客的形式记录下课程内容。课程中这位老师首先简单介绍了时间序列预测任务 ,然后讲了特征工程的常见操作主要包括 数据清洗、特征构造和特征选择。最后老师分享了他在此次比赛中的一些上分技巧
1. 时间预测任务简介
时间序列预测是指按照时间顺序观察事物的变换。通常会利用同一变量的历史值预测未来值,或者也可以加入一些预测因子来预测未来值。前者称为单变量时间序列预测,后者称为多变量时间序列预测。通常我们指的时间序列预测都是考虑定期观察的时间序列(如每分、每小时、每天、每周等)。比较经典的案
例有:降水量预测、销售预测、流量预测等。
![](https://i-blog.csdnimg.cn/blog_migrate/5cf0901b4db78ff8cad387461cf7d8dc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e0d13f97aad3abceff80faa15498e64e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e4d33c1ee2ac3fb88db7ab1e082474e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7e6bee4c3dd1405e0d42fc267ab68b1a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10f3ddfa0fc7b9b8a467ad3fd80b6c74.png)
2. 特征工程常见操作
2.1 数据清洗:提高数据质量,降低算法用错误数据建模的风险
- 特征变换:模型无法处理或不适合处理
a) 定性变量编码:Label Encoder;Onehot Encoder;Distribution coding;
b) 标准化和归一化:z分数标准化(标准正态分布)、min-max 归一化; - 缺失值处理:增加不确定性,可能会导致不可靠输出
a) 不处理:少量样本缺失;
b) 删除:大量样本缺失;
c) 补全:(同类)均值/中位数/众数补全;高维映射(One-hot);模型预测;最邻近/向后/向
前补全;矩阵补全(R-SVD); - 异常值处理:减少脏数据
a) 简单统计:如 describe() 的统计描述;散点图等;
b) 3∂ 法则(正态分布)/箱型图截断;
c) 利用模型进行离群点检测:聚类、K近邻、One Class SVM、Isolation Forest; - 其他:删除无效列/ 更改dtypes/ 删除列中的字符串/ 将时间戳从字符串转换为日期时间格式等
2.2 特征构造:增强数据表达,添加先验知识
- 统计量特征:
a) 四分位数、中位数、平均数、标准差、偏差、偏度、峰度、离散系数等;
b) 构造长短期统计量;
c) 考虑时间衰减。 - 周期值:
a) 前 n 个周期/天/月/年的同期值;
b) 同比/ 环比; - 数据分桶:
a) 等频/等距分桶、Best-KS 分桶、卡方分桶; - 特征组合(先用强特征):
a) 类别特征和类别特征:笛卡尔积;
b) 类别特征和连续特征:连续特征分桶后进行笛卡尔积,或者基于类别特征进行 groupby 操作,
类似聚合特征的构造;
c) 连续特征和连续特征:加减乘除,或者二阶差分等
2.3 特征选择:降低噪声,平滑预测能力和计算复杂度,增强模型预测性能
- 过滤式(Filter):先用特征选择方法对初识特征进行过滤,然后再训练学习器,特征
选择过程与后续学习器无关。
a) 方差选择/ 相关系数/ 卡方检验/ 互信息法 - 包裹式(Wrapper):直接把最终将要使用的学习器的性能作为衡量特征子集的评价准
则,其目的在于给定学习器选择最有利于其性能的特征子集。
a) Recursive Feature Elimination (RFE)
b) Las Vegas Wrapper(LVM);
c) 单特征建模模型; - 嵌入式(Embedding):结合过滤式和包裹式方法,将特征选择与学习器训练过程融
为一体,两者在同一优化过程中完成,即学习器训练过程中自动进行了特征选择。
a) LR+L1或决策树
3. 温室温度预测上分小技巧
![](https://i-blog.csdnimg.cn/blog_migrate/566fe647171f43625d6da529011303dc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c104e15337688d0f239ec93fd4fb1bf7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52a7ec508f91d18ddcd4d9ae31eed5fd.png)