- 本篇博客主要介绍的是特征工程
- 本篇博客内容基于阿里云天池竞赛:心跳信号分类预测写就,着重说明了其特征工程部分
- 学习交流请联系 obito0401@163.com
何为特征工程
特征工程是利用数据所在领域的相关知识来构建特征,使得机器学习算法发挥其最佳的过程。它是机器学习中的一个基本应用,实现难度大且代价高。采用自动特征工程方法可以省去采用人工特征工程的需求。吴恩达(Andrew Ng) 说“挖掘特征是困难、费时且需要专业知识的事,应用机器学习其实基本上是在做特征工程。”
特征工程内容
- 知乎上有一篇回答非常得棒特征工程到底是什么 ,里面的一张图很好地介绍了特征工程的内容,现摘取出来,以供学习参考
特征工程实践
- 前文所提到的知乎文章特征工程到底是什么 中城东的回答就很好地展示了特征工程实践的全流程
- 我们常说的数据预处理在机器学习领域其实就包含在特征工程之中
- 在这次 DataWhale 的组队学习中,还提到了
tsfresh
这个 Python 第三方时间序列处理包,它可以自动计算大量的时间序列数据的特征。此外,该包还包含了特征重要性评估、特征选择的方法。因此,不管是基于时序数据的分类问题还是回归问题,tsfresh都会是特征提取的一个不错的选择。tsfresh官方文档
【附】由于这次数据量大,个人电脑已经支撑不住,所以这次很遗憾不能亲自上手实践看看了,不过还是要简单总结下这次学习内容中的一部分函数,以便将来应用
tsfresh.extract_features()
:数据特征提取tsfresh.utilities.dataframe_functions.impute()
:去除抽取特征中的NaN值tsfresh.select_features()
:数据特征选择