数据挖掘：数据处理

数据挖掘：数据处理

最近学校开了数据建模课程，根据学习内容做个小结。

数据清洗包括以下几个步骤：
1、熟悉数据，核对数据口径（必要时查阅相关资料以加深对数据的理解）。

2、探索性数据分析EDA
（）
目的：熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。

2.1查看数据的类型（分类型数据or数值型数据）

2.2数据的各项统计指标的描述，如均值、中位数、众数、上、下四分位数、标准差、最大、小值等

2.3缺失值处理（删除or插补or不予理睬）
不处理（针对类似 XGBoost 等树模型）；
删除（缺失数据太多）；
插值补全，包括均值/中位数/众数/建模预测/多重插补/ 压缩感知补全/矩阵补全等；
（分箱，缺失值一个箱）

2.4异常值处理
2.4.1通过箱线图（或 3-Sigma）分析删除异常值；
2.4.2长尾截断；
2.4.3非正态分布转化为正态分布
线性变化z-scores
使用Boxcox变换
使用yeo-johnson变换

2.5噪声数据处理
2.5.1特征归一化/标准化：
标准化（转换为标准正态分布）；
归一化（抓换到 [0,1] 区间）；
2.5.2数据分桶：
等频分桶；
等距分桶；
Best-KS 分桶（类似利用基尼指数进行二分 类）；
卡方分桶；

3、特征工程

3.1特征工程的目标
对于特征进行进一步分析，并对于数据进行处理
完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡

3.2常见的特征工程包括：
3.2.1特征构造：
构造统计量特征，报告计数、求和、比例、标准差等；
时间特征，包括相对时间和绝对时间，节假日，双休日等；
地理信息，包括分箱，分布编码等方法；
非线性变换，包括 log/ 平方/ 根号等；
特征组合，特征交叉；
仁者见仁，智者见智。

3.2.2特征筛选
过滤式（filter）：先对数据进行特征选择，然后在训练学习器，常见的方法有 Relief/方差选择发/相关系数法/卡方检验法/互信息法；
包裹式（wrapper）：直接把最终将要使用的学习器的性能作为特征子集的评价准则，常见方法有 LVM（Las Vegas Wrapper） ；
嵌入式（embedding）：结合过滤式和包裹式，学习器训练过程中自动进行了特征选择，常见的有 lasso 回归；

3.2.3降维
PCA/ LDA/ ICA；
注：特征选择也是一种降维。