数据预处理—数据清洗（1）—缺失值处理

3.1数据清洗

缺失值，异常值和重复值的处理

3.1.1缺失值处理

• 数据缺失分类
  • 行记录缺失，实际上就是记录丢失
  • 数据列值缺失，数据记录中某些列值空缺
    • 数据库 Null
    • Python返回对象None
    • Pandas Numpy NaN
    • 个别情况下，部分缺失值会使用空字符串代替
• 缺失值处理方式
  • 直接删除带有缺失值的行记录（整行删除）或者列字段（整列删除），删除意味着会消减数据特征，不适合直接删除缺失值的情况：
    • 数据记录不完整情况且比例较大（如超过10%），删除会损失过多有用信息。
    • 带有缺失值的数据，记录大量存在着明显的数据分布规律的特征
    • 带有缺失值的数据，记录的目标标签（即分类中的Label变量）主要集中于某一类或几类，如果删除这些数据记录将使对应分类的数据样本丢失大量特征信息，导致模型过拟合或分类不准确。
  • 填充缺失值相对直接删除而言，用适当方式填充缺失值，形成完整的数据记录是更加常用的缺失值处理方式。常用的填充方法如下：
    • 统计法
      • 对于数值型的数据，使用均值、加权均值、中位数等方填充
      • 对于分类型数据，使用类别众数最多的值填充。