2020-05-11

最新推荐文章于 2022-08-30 13:38:41 发布

weixin_47040050

最新推荐文章于 2022-08-30 13:38:41 发布

阅读量114

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/weixin_47040050/article/details/106046254

版权

笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

标题:判断数据的缺失和异常（新学知识小分享，非本人自创）

首先，通过describe来熟悉数据的相关统计量
Train_data.dascribe()
Test_data.dascribe()
通过info（）来熟悉数据类型
Train_data.info()
Test_data.info()

1）查看每列的存在nan情况

Train_data.isnu11().sum()
Test_data.isnu11(）.sum()

nan可视化

missing = train_data.isnu11().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar

可视化看下缺省值

msno.matrix(Train_data.sample(250))
msno.bar(Train_data.sample(1000))

可视化看下缺省值

msno.matrix(Test_data.sample(250))
msno.bar(Test_data.sample(1000))

2) 查看异常值检测

Train_data.info()
Train_data[‘notRepairedDamage’].value_counts()
Train_data[‘notRepairedDamage’].replace(’-’,np.nan,inplace=True)
Train_data[‘notRepairedDamage’].value_counts()
Train_data.isnu11().sum()
Test_data[‘notRepairedDamage’].value_counts()
Test_data[‘notRepairedDamage’].replace(’-’,np.nan.inplace=True)
Train_data[“seller”].value_counts()
Train_data[“offerType”].value_counts()
de1 Train_data[“seller”]
de1 Train_data[“offerType”]
de1 Test_data[“seller”]
de1 Test_data[“offerType”]