AI训练营金融风控—03特征工程打卡

本学习笔记为阿里金融风控训练营的学习内容，学习链接为：AI训练营金融风控-阿里云天池

我的完整笔记为：

AI训练营金融风控—03特征工程_天池notebook-阿里云天池

 

回顾：

AI训练营金融风控—01赛题理解打卡_宇宙高能量者的博客-CSDN博客

AI训练营金融风控—02EDA探索性数据分析打卡_宇宙高能量者的博客-CSDN博客

一、学习知识点概要

• 学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法
• 学习特征交互、编码、选择的相应方法
• 完成相应学习打卡任务，两个选做的作业不做强制性要求，供学有余力同学自己探索

二、学习内容

• 数据预处理
  • 缺失值的填充
  • 时间格式处理
  • 对象类型特征转换到数值
• 异常值处理
  • 基于3segama原则
  • 基于箱型图
• 数据分箱
  • 固定宽度分箱
  • 分位数分箱
    • 离散数值型数据分箱
    • 连续数值型数据分箱
  • 卡方分箱（选做作业）
• 特征交互
  • 特征和特征之间组合
  • 特征和特征之间衍生
  • 其他特征衍生的尝试（选做作业）
• 特征编码
  • one-hot编码
  • label-encode编码
• 特征选择
  • Filter
    • 方差选择法
    • 相关系数法（pearson 相关系数）
    • 卡方检验
    • 互信息法
  • 2 Wrapper （RFE）
    • 递归特征消除法
  • 3 Embedded
    • 基于惩罚项的特征选择法
    • 基于树模型的特征选择

三、学习问题与解答

1. 特征预处理

1）缺失值填充

• 把所有缺失值替换为指定的值0：data_train = data_train.fillna(0)

• 向用缺失值上面的值替换缺失值：data_train = data_train.fillna(axis=0,method='ffill')

• 纵向用缺失值下面的值替换缺失值,且设置最多只填充两个连续的缺失值：data_train = data_train.fillna(axis=0,method='bfill',limit=2)

<