数据缺失类型:MCAR、MAR、MNAR


参考:
AI for Medical Prognosis

以医生是否为每个病人记录血压为例,讲解三种缺失。
在数据集中,我们常将不含缺失值的变量称为完全变量,数据集中含有缺失值的变量称为不完全变量。

1.Missing Completely at Random(MCAR)

missingness not depend on anything,no bias (通过抛硬币,完全独立)
p(missing) = constant
在这里插入图片描述
每个病人是否被记录的概率相同均为0.5,则缺失数据和非缺失数据的分布是相似的,以年龄分布为例如下图。
在这里插入图片描述
数据的缺失是完全随机的,不依赖于任何不完全变量或完全变量,不影响样本的无偏性。简单来说,就是数据丢失的概率与其假设值以及其他变量值都完全无关。

2.Missing at Random(MAR)

missingness depend only on available information(例如依赖于年龄)
p(missing)≠constant
p(missing|age<40)=0.5≠p(missing|age>40)=0
年龄小于40则抛硬币决定是否记录,大于40则记录血压。而最终收集到的数据中年龄是可得到的。在这里插入图片描述
在这里插入图片描述
随机丢失意味着数据丢失的概率与丢失的数据本身无关,而仅与部分已观测到的数据(年龄)有关。也就是说,数据的缺失不是完全随机的,该类数据的缺失依赖于其他完全变量。

3.Missing Not at Random(MNAR)

missingness depend on unavailable information
p(missing)≠constant
p(missing|waiting)=0.5, p(missing|not waiting)=0
有其他患者等待则抛硬币来决定记录与否,无其他患者等待则记录数据。但是否等待是无法观测、无法收集到的数据。
在这里插入图片描述
最终的分布可能与MCAR差不多,但存在bias。
在这里插入图片描述
数据的缺失与不完全变量自身的取值有关。分为两种情况:缺失值取决于其假设值(例如,高收入人群通常不希望在调查中透露他们的收入);或者,缺失值取决于其他变量值(假设女性通常不想透露她们的年龄,则这里年龄变量缺失值受性别变量的影响)。
以上就是三种数据缺失类型,我们一般不能确定数据是否真的缺失,或者数据缺失是否依赖于未观察到的预测因子,但是可以通过了解不同的缺失类型,来理解丢失数据是如何造成有bias的模型。

MCAR可以根据其出现情况删除缺失值的数据,同时,随机缺失可以通过已知变量对缺失值进行估计。
在MNAR下,删除包含缺失值的数据可能会导致模型出现偏差,同时,对数据进行填充也需要格外谨慎。

  • 9
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值