特征工程的建立过程

1 特征工程

1.1 了解特征工程

数据挖掘“二八原则”

• 80%的精力 => 选取特征
• 20%的精力 => 模型融合等
  基于数据分析与探索提取潜在有价值的特征
  
  特征工程重要性
• 特征越好，模型的性能越出色
• 特征越好，构建的模型越简单
• 特征越好，模型的灵活性越强

1.2 特征提取与特征组合

在特征工程前面需要进行数据预处理

• 缺失值的填充
• 时间格式处理
• 对象类型特征转换到数值
• 异常值处理
  1. 基于3segama原则
  2. 基于箱型图
• 数据分箱
  （1） 特征分箱的目的：从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。
  （2）数据分桶的对象：将连续变量离散化；将多状态的离散变量合并成少状态
  （3）分箱的原因