暴力删除、直接转换、简单插补法
一.缺失值的类型
在生成、采集、计算过程中被遗漏的数据信息,被称为缺失值;并不是表现为缺失状态的值就一定是缺失值,需要根据简单业务逻辑推断。
在对缺失数据进行处理前,了解数据缺失的类型十分必要。
- 完全变量
数据集中不含缺失值的变量称为完全变量。
- 不完全变量
数据集中含缺失值的变量称为不完全变量。
从缺失的分布来将缺失可以分为完全随机缺失,随机缺失和完全非随机缺失。
- 完全随机缺失(missing completely at random,MCAR)
指的是数据的缺失是完全随机的,不依赖于任何不完全变量或完全变量,不影响样本的无偏性,如家庭地址缺失;
- 随机缺失(missing at random,MAR)
指的是数据的缺失不是完全随机的,即该类数据的缺失依赖于其他完全变量,如财务数据缺失情况与企业的大小有关;
- 完全随机缺失(missing completely at random,MCAR)
非随机缺失(missing not at random,MNAR):指的是数据的缺失与不完全变量自身的取值有关,如高收入人群不原意提供家庭收入;
目前常见的缺失值处理方法一览&#