01 数据预处理常用基本方法

数据预处理

1 数据清洗

数据清洗基本上是数据预处理的首要步骤
 1 处理缺失值
  对于缺失值特征较少的几个数据，可以删除，或者补充，均不会导致丢失太多信息
    补充缺失值的方法，例如插入均值，中位数，众数
    对于缺失值较多的特征列，我们则选择删除该列
 2 处理异常值
  检测异常值，然后删除异常值
    检测异常值的方法常用基于聚类的异常值检测方法
    例如 Kmeans DBSCAN Isolation Forest(孤立森林)
 3 处理重复值
  检测重复值，通常采用遍历的方式检测重复值，然后移除

2 数据转换

四种：归一化，标准化，特征编码，特征降维(PCA)
 1 标准化：x-均值/标准差，均值为0，标准差为1
 2 归一化：最大最小归一化 x-min/max-min 能够将数据归结到 01范围
 3 特征编码：依据任务要求，例如 one hot 编码，embedding编码
 4特征降维：常用方法 PCA LDA，用的多的还是 PCA
   PCA主成分分析：一般用于数据特征列存在相关性比较高，能够去除冗余信息
   LDA 线性判别分析࿱